【DataX】datax | datax-web | win搭建datax-web环境 | linux环境

一、环境准备

    1、jdk8

    2、maven

    3、mysql7

    4、python3

    5、window10

    6、idea

    7、2345解压（win支持tar.gz解压）

    8、git

二、linux操作步骤

1、准备作业目录

1）命令

mkdir -p /opt/datax
mkdir -p /opt/datax/jsonpath

2）查看python版本

python --version

说明1： python2.X，datax包可以直接用

说明2： python3.X，datax包的datax.py需要更换

说明3： 更换链接

https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3

说明4： datax-web项目里面也有

~~

2、下载datax

1）下载

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2）解压

tar zxvf datax.tar.gz

~~

3、datax-web项目部署

1）拉去源码

git clone 

说明1： datax-web自己存了一份

2）进入目录并编译打包

cd /opt/gitee/hg-datax-web


mvn clean install

3）进入并解压

cd build/
tar zxvf datax-web-2.1.2.tar.gz 

4）进入并解压模块

cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages
tar zxvf datax-admin_2.1.2_1.tar.gz 
tar zxvf datax-executor_2.1.2_1.tar.gz

5）启动datax-admin

cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-admin/bin
./datax-admin.sh start

6）启动datax-executor

cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-executor/bin
./datax-executor.sh start

7）查看启动端口

netstat -anp  | grep 9527
netstat -anp  | grep 40002

说明1： datax-admin默认端口9527，这个端口修改起来比较难受，就没改了

说明2： datax-executor修改了端口，改为了40002

8）修改datax-executor参考

9）日志文件datax-admin

/opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-admin/bin/console.out

10）日志文件datax-executor

/opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-executor/bin/console.out

说明1： 启动失败了，可以看日志；admin失败可能是数据库连接或者端口占用

说明2： executor失败，可能是admin的端口不对，导致连接失败

说明3： admin正常，但是ip:端口访问404，需要加index.html，也就是: http://ip:port/index.html

11）效果图

~~

三、windows操作步骤

1、datax操作步骤

1）下载datax

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2）其他版本：github

https://github.com/alibaba/DataX

3）解压

4）下载python3的datax.py

https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3

5）替换掉datax\bin*.py

6）删除以下目录下的多余文件

datax\bin\
datax\plugin\reader\
datax\plugin\writer

~~

2、datax-web操作步骤

1）克隆源码

https://github.com/WeiYe-Jing/datax-web.git

2）创建数据库datax_web

3）导入SQL

datax-web\bin\db\datax_web.sql

4）修改datax-admin配置

a> application.yml，修改端口即可

b> bootstrap.properties，数据库配置

c> 运行DataXAdminApplication即可

运行报错：

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

说明： 忽略即可

5）修改datax-executor

6）启动DataXExecutorApplication

~~

3、使用

1）访问web

http://127.0.0.1:8001/index.html#/login?redirect=%2Fdashboard

2）默认账号

admin

123456

3）了解页面

~~

4、docker部署（待验证）

1）拉取镜像

docker pull linshellfeng/datax_web:3.0.1

说明： 3.0.1已经包含了datax，直接配置数据库使用即可

2）创建宿主机目录

mkdir -p /data/datax/datax-admin/conf

3）创建并配置yml（数据库连接）

vi /data/datax/datax-admin/conf/bootstrap.properties

4）docker启动

docker run -d --name datax_web -p 9527:9527 -v /data/datax/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties linshellfeng/datax_web:3.0.1

~~