1、编译打包
#seatunnel 项目打包编译命令:
mvn clean install -DskipTests -Dcheckstyle.skip -Dmaven.javadoc.skip=true
执行报错:
[ERROR] Unknown lifecycle phase ".skip". You must specify a valid lifecycle phase or a goal in the format <plugin-prefix>:<goal> or <plugin-group-id>:<plugin-artifact-id>[:<plugin-vers ion>]:<goal>.
解决:
1、 PowerShell 窗口下,执行带参数的需要’单引号’包起来才可以
命令改为:
mvn clean install -DskipTests' -Dcheckstyle.skip' '-Dmaven.javadoc.skip=true'
2、不要使用PowerShell命令行模式, 进入命令行执行:
mvn clean install -DskipTests -Dcheckstyle.skip -Dmaven.javadoc.skip=true
如何区分PowerShell 和 cmd:
前面是以PS为开头的是PowerShell
PS E:\weihao\workSpace\ideaWorkspace\seatunnel>
直接就是路径的是普通cmd
E:\weihao\workSpace\ideaWorkspace\seatunnel>
打包成功:
2、linux执行
1、上传tar包。
apache-seatunnel-incubating-2.1.4-SNAPSHOT-bin.tar.gz 位置:seatunnel-dist模块下得target包中。
2、解压
tar -zxvf apache-seatunnel-incubating-2.1.4-SNAPSHOT-bin.tar.gz
解压之后目录为:
3、修改config/seatunnel-env.sh,设置Spark、Flink集群环境
4、修改执行脚本文件类型
shell脚本格式必须是unix才行,但这个脚本是在windows上编写完成传到Linux服务器上的,所以需要修改。
windows环境下的文件是dos格式,即每行结尾以\r\n来标识,而linux下的文件是unix格式,行尾则以\n来标识;
查看文件格式:vim seatunnel-env.sh,编辑文件,执行“:set ff”,若执行结果为fileformat=dos则为dos格式,若执行结果为fileformat=unix则为unix格式。
修改文件格式::vim seatunnel-env.sh,编辑文件,执行“: set ff=unix”,将文件设置为unix格式,然后执行“:wq”,保存退出。
需要修改得文件:
seatunnel-env.sh、bin目录下所有可执行文件
5、执行命令
/data/wh/apache-seatunnel-incubating-2.1.3-SNAPSHOT/bin/start-seatunnel-spark.sh --master yarn --deploy-mode cluster --config /data/wh/apache-seatunnel-incubating-2.1.3-SNAPSHOT/config/flink_datahub.conf
版权归原作者 桑煜0926 所有, 如有侵权,请联系我们删除。