【Flink 问题】Flink 如何提交轻量jar包 依赖该如何存放 会遇到哪些问题

又好长一阵子没写作了，不过接下来会开始定期更新了。

从自己身上找到了一些问题–懒惰

• 懒惰的根源不是懒惰本身
• 而是意识到懒惰，却极难改变这种现状
• 我想还是要以短期目标为导向
• 这或许是改变现状的一种方式

说正事了，不然有人点进来要说，这沙雕是在干啥？虽然我很随缘，但我还是很在乎读者体验。

问题描述

Flink任务的提交，是通过提交jar包，配置方法入口，并行度以及其他必要参数。如果在调试阶段，难免在修改完代码之后需要重新上传jar包。多次重复上传，如果这个包太大了，例如我这个项目的包

尼玛，两百兆。网速快点还好，如果远程部署，每次要传输很久。再者，如果nginx限制了传输大小，直接GG，况且每次传好几百兆，太吃资源了。总之弊端太多了。

解决方法

我们写的代码显然不可能有几百兆，这其中大部分都是项目中引用的依赖，和项目中用到的大文件。因此，可以我们要让依赖导入一次即可。

会点进来的哥们，我想都是对flink有一定的熟悉，到了尝试部署的阶段了，本文这边采用的是standalone模式，这部分的内容，道理都一样，不同模式依赖存放位置不同罢了。

standalone模式下，jar的依赖可以放在安装目录的lib目录下
如下图：

可以看到这目录很纯净，都是原始，flink启动用到的相关依赖。既然flink启动用到的是这里的依赖，项目的外部依赖也放这里。机灵的伙伴们一定会想到依赖冲突的问题。这种情况只能依项目情况解决了。主要是scala的包和sl4j的包会冲突。

打包maven配置修改plugin

<plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>2.3.2</version><configuration><source>1.8</source><target>1.8</target><encoding>UTF-8</encoding></configuration></plugin><!-- 将项目依赖包复制到<outputDirectory>指定的目录下 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-dependency-plugin</artifactId><executions><execution><id>copy-dependencies</id><phase>package</phase><goals><goal>copy-dependencies</goal></goals><configuration><outputDirectory>
                                ${project.build.directory}/lib
                            </outputDirectory></configuration></execution></executions></plugin><!-- 将项目依赖包的路径（与上一项中的<outputDirectory>对应）添加到classPath中 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-jar-plugin</artifactId><configuration><archive><manifest><addClasspath>true</addClasspath><classpathPrefix>lib/</classpathPrefix><mainClass>com.ctbri.echoRisk.ApplicationStart</mainClass></manifest><manifestEntries><Class-Path>./</Class-Path></manifestEntries></archive></configuration></plugin>

使用这个插件打出来的包

可以看到现在的jar包只有600多k，并且可以看到多了一个lib的文件夹。

可以看到这里面有项目用到的很多依赖。
正常来讲，把这些依赖，全部复制到flink/lib目录下，启动集群，提交这个几百k的jar就可以运行了。
但是会发现，copy到flink/lib下之后，flink直接启动失败了，这就是包冲突的问题。我这边因为冲突的是scala包和sl4j的包，我不用scala，因此scala的包我直接不放进lib，sl4j同理，也不放进lib。然后能够正常启动我就不管了。
解决这种问题，当然还有其他方式，我估计就是项目需要选择和你安装的flink版本要一致。
晚安～