0


Seatunnel 2.1.3 源码打包、编译运行

1、编译打包

#seatunnel 项目打包编译命令:
mvn clean install -DskipTests -Dcheckstyle.skip -Dmaven.javadoc.skip=true

执行报错:

[ERROR] Unknown lifecycle phase ".skip". You must specify a valid lifecycle phase or a goal in the format <plugin-prefix>:<goal> or <plugin-group-id>:<plugin-artifact-id>[:<plugin-vers ion>]:<goal>.

解决:

1、 PowerShell 窗口下,执行带参数的需要’单引号’包起来才可以

命令改为:

mvn clean install -DskipTests' -Dcheckstyle.skip' '-Dmaven.javadoc.skip=true'

2、不要使用PowerShell命令行模式, 进入命令行执行:

mvn clean install -DskipTests -Dcheckstyle.skip -Dmaven.javadoc.skip=true

如何区分PowerShell 和 cmd:

前面是以PS为开头的是PowerShell

PS E:\weihao\workSpace\ideaWorkspace\seatunnel>

直接就是路径的是普通cmd

E:\weihao\workSpace\ideaWorkspace\seatunnel>

打包成功:

2、linux执行

1、上传tar包。

apache-seatunnel-incubating-2.1.4-SNAPSHOT-bin.tar.gz 位置:seatunnel-dist模块下得target包中。

2、解压

tar -zxvf apache-seatunnel-incubating-2.1.4-SNAPSHOT-bin.tar.gz

解压之后目录为:

3、修改config/seatunnel-env.sh,设置Spark、Flink集群环境

4、修改执行脚本文件类型

shell脚本格式必须是unix才行,但这个脚本是在windows上编写完成传到Linux服务器上的,所以需要修改。

windows环境下的文件是dos格式,即每行结尾以\r\n来标识,而linux下的文件是unix格式,行尾则以\n来标识;

查看文件格式:vim seatunnel-env.sh,编辑文件,执行“:set ff”,若执行结果为fileformat=dos则为dos格式,若执行结果为fileformat=unix则为unix格式。

修改文件格式::vim seatunnel-env.sh,编辑文件,执行“: set ff=unix”,将文件设置为unix格式,然后执行“:wq”,保存退出。

需要修改得文件:

seatunnel-env.sh、bin目录下所有可执行文件

5、执行命令

/data/wh/apache-seatunnel-incubating-2.1.3-SNAPSHOT/bin/start-seatunnel-spark.sh     --master yarn     --deploy-mode cluster     --config /data/wh/apache-seatunnel-incubating-2.1.3-SNAPSHOT/config/flink_datahub.conf
标签: java scala 大数据

本文转载自: https://blog.csdn.net/KKKKWH/article/details/128143248
版权归原作者 桑煜0926 所有, 如有侵权,请联系我们删除。

“Seatunnel 2.1.3 源码打包、编译运行”的评论:

还没有评论