Seatunnel及web安装搭建部署流程

本博客记录了seatunnel安装部署的流程，相关注意事项也有提示，关于jar包问题有相关单独的文章，点击链接即可。

准备工作

Java环境

要求java8或者java11，并设置JAVA_HOME，如果JAVA_HOME无效，需要设置为有效状态。

echo ${JAVA_HOME}

创建安装软件目录

sudo mkdir -p /opt/seatunnel/backend

sudo mkdir -p /opt/seatunnel/web

下载软件

从https://seatunnel.apache.org/download/下载apache-seatunnel-2.3.3-bin.tar.gz

以及apache-seatunnel-web-1.0.0-bin.tar.gz

放置到准备好的目录

安装seatunnel

解压软件

sudo tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz -C /opt/seatunnel/backend

sudo tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz -C /opt/seatunnel/web/

配置环境变量

在/etc/profile.d/seatunnel.sh中配置环境变量

然后执行source /etc/profile

下载jar包

Seatunnel里面的connector对应的jar包需要自己下载，在下载之前先看看其下载逻辑

下载逻辑

在执行自动下载jar包钱，进入apache-seatunnel-2.3.3，查看vim bin/install-plugin.sh内容

主要逻辑如下：

使用mvnw进行下载
下载seatunnel-hadoop3-3.1.4-uber到lib文件夹下
下载在config/plugin_config配置的seatunnel的连接器到connectors/seatunnel文件下

在下载之前，可以对config/plugin_config进行编辑，注释不需要的connector，可以添加需要的connector

可vim connectors/plugin-mapping.properties查看所有支持的connector

自动下载

sh bin/install-plugin.sh

执行命令即可，一般不推荐，因为从官网下载速度太慢，本人首次下载了2个小时没有下载完成，可以通过修改相关的代码进行手动加速下载。

手动下载

修改代码，通过阿里云的mvn源快速下载，然后将相关jar包复制到对应目录即可。

详细可参考以下文章的方法，可加速下载jar包。

seatunnel及web安装常见问题与解决方法-CSDN博客

如果有特殊需求某个单独jar包，可以自己手动进入Central Repository: org/apache/seatunnel下载，比如要下载hadoop的包，可以进入下面网址手动点击下载

Central Repository: org/apache/seatunnel/seatunnel-hadoop3-3.1.4-uber

注意：下载jar复制到两个文件夹，一个是lib文件夹，一个是connectors/seatunnel文件夹。

运行

测试

进入主文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3执行命令：

sudo ./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

观察到日志有如下信息表示运行测试成功

启动服务

nohup sh bin/seatunnel-cluster.sh 2>&1 &

查看日志tail -f logs/seatunnel-engine-server.log 有类似信息打印出。

必须启动seatunnel的server，web端服务才能正常运行。

安装seatunnel-web

准备工作

在seatunnel的web端机器上需要部署seatunnel客户端，如果服务端与web端在同一台机器，则可跳过此步。跳过此步，因为测试环境都部署在同一台机器上。如有需要可以访问https://seatunnel.apache.org/docs/seatunnel-engine/deployment/#6-config-seatunnel-engine-client