Datax可视化工具Datax-web安装部署

文章目录

一、Datax-web官网

github：Datax-web
gitee: Datax-web

二、Datax-web介绍

1、Datax-web概述

• DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
• 任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

2、架构图

3、系统环境要求

• JDK版本: Java 8（jdk版本建议1.8.201以上）
• Python版本：Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下)
• 操作系统: MacOS, Windows,Linux
• 数据库版本: Mysql5.7及以上

4、特性支持

• 1、通过Web构建DataX Json；
• 2、DataX Json保存在数据库中，方便任务的迁移，管理；
• 3、Web实时查看抽取日志，类似Jenkins的日志控制台输出功能；
• 4、DataX运行记录展示，可页面操作停止DataX作业；
• 5、支持DataX定时任务，支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
• 6、调度采用中心式设计，支持集群部署；
• 7、任务分布式执行，任务"执行器"支持集群部署；
• 8、执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行；
• 9、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
• 10、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
• 11、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
• 12、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；
• 13、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
• 14、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
• 15、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
• 16、运行报表：支持实时查看运行数据，以及调度报表，如调度日期分布图，调度成功分布图等；
• 17、指定增量字段，配置定时任务自动获取每次的数据区间，任务失败重试，保证数据安全；
• 18、页面可配置DataX启动JVM参数；
• 19、数据源配置成功后添加手动测试功能；
• 20、可以对常用任务进行配置模板，在构建完JSON之后可选择关联模板创建任务；
• 21、jdbc添加hive数据源支持，可在构建JSON页面选择数据源生成column信息并简化配置；
• 22、优先通过环境变量获取DataX文件目录，集群部署时不用指定JSON及日志目录；
• 23、通过动态参数配置指定hive分区，也可以配合增量实现增量数据动态插入分区；
• 24、任务类型由原来DataX任务扩展到Shell任务、Python任务、PowerShell任务；
• 25、添加HBase数据源支持，JSON构建可通过HBase数据源获取hbaseConfig，column；
• 26、添加MongoDB数据源支持，用户仅需要选择collectionName即可完成json构建；
• 27、添加执行器CPU、内存、负载的监控页面；
• 28、添加24类插件DataX JSON配置样例
• 29、公共字段（创建时间，创建人，修改时间，修改者）插入或更新时自动填充
• 30、对swagger接口进行token验证
• 31、任务增加超时时间，对超时任务kill datax进程，可配合重试策略避免网络问题导致的datax卡死。
• 32、添加项目管理模块，可对任务分类管理；
• 33、对RDBMS数据源增加批量任务创建功能，选择数据源，表即可根据模板批量生成DataX同步任务；
• 34、JSON构建增加ClickHouse数据源支持；
• 35、执行器CPU.内存.负载的监控页面图形化；
• 36、RDBMS数据源增量抽取增加主键自增方式并优化页面参数配置；
• 37、更换MongoDB数据源连接方式,重构HBase数据源JSON构建模块；
• 38、脚本类型任务增加停止功能；
• 39、rdbms json构建增加postSql，并支持构建多个preSql，postSql；
• 40、数据源信息加密算法修改及代码优化；
• 41、日志页面增加DataX执行结果统计数据；

三、安装部署

官网安装教程

1、环境准备

2、Datax-web安装包准备

• 官方提供的tar包 官方链接，提取码：cpsk
• 自己本地打包编译- 直接从Git上面获得源代码git clone https://gitee.com/WeiYe-Jing/datax-web.git- 进入项目源码根目录执行以下命令mvn clean install- 执行成功后将会在工程的build目录下生成安装包build/datax-web-{VERSION}.tar.gz
• 开始部署- 上传到服务器指定目录，进行解压tar-zxvf datax-web-{VERSION}.tar.gz- 执行一键安装脚本 进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行./bin/install.sh- 在交互模式下，对各个模块的package压缩包的解压以及configure配置脚本的调用，都会请求用户确认,可根据提示查看是否安装成功，如果没有安装成功，可以重复尝试； 如果不想使用交互模式，跳过确认过程，则执行以下命令安装./bin/install.sh --force
• 数据库初始化及配置文件- 修改相关配置文件vi ./modules/datax-admin/conf/bootstrap.properties将注释放开配置数据库相关信息#Database#DB_HOST=#DB_PORT=#DB_USERNAME=#DB_PASSWORD=#DB_DATABASE=- 进入到此目录/bin/db/datax-web.sql脚本去手动执行 相关sqlSET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS =0;-- ------------------------------ Table structure for job_group-- ----------------------------DROPTABLEIFEXISTS`job_group`;CREATETABLE`job_group`(`id`int(11)NOTNULLAUTO_INCREMENT,`app_name`varchar(64)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'执行器AppName',`title`varchar(12)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'执行器名称',`order`int(11)NOTNULLDEFAULT0COMMENT'排序',`address_type`tinyint(4)NOTNULLDEFAULT0COMMENT'执行器地址类型：0=自动注册、1=手动录入',`address_list`varchar(512)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器地址列表，多地址逗号分隔',PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=2CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Records of job_group-- ----------------------------INSERTINTO`job_group`VALUES(1,'datax-executor','datax执行器',1,0,NULL);-- ------------------------------ Table structure for job_info-- ----------------------------DROPTABLEIFEXISTS`job_info`;CREATETABLE`job_info`(`id`int(11)NOTNULLAUTO_INCREMENT,`job_group`int(11)NOTNULLCOMMENT'执行器主键ID',`job_cron`varchar(128)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'任务执行CRON',`job_desc`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULL,`add_time`datetime(0)NULLDEFAULTNULL,`update_time`datetime(0)NULLDEFAULTNULL,`author`varchar(64)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'作者',`alarm_email`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'报警邮件',`executor_route_strategy`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器路由策略',`executor_handler`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器任务handler',`executor_param`varchar(512)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器任务参数',`executor_block_strategy`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'阻塞处理策略',`executor_timeout`int(11)NOTNULLDEFAULT0COMMENT'任务执行超时时间，单位秒',`executor_fail_retry_count`int(11)NOTNULLDEFAULT0COMMENT'失败重试次数',`glue_type`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'GLUE类型',`glue_source`mediumtextCHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLCOMMENT'GLUE源代码',`glue_remark`varchar(128)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'GLUE备注',`glue_updatetime`datetime(0)NULLDEFAULTNULLCOMMENT'GLUE更新时间',`child_jobid`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'子任务ID，多个逗号分隔',`trigger_status`tinyint(4)NOTNULLDEFAULT0COMMENT'调度状态：0-停止，1-运行',`trigger_last_time`bigint(13)NOTNULLDEFAULT0COMMENT'上次调度时间',`trigger_next_time`bigint(13)NOTNULLDEFAULT0COMMENT'下次调度时间',`job_json`textCHARACTERSET utf8 COLLATE utf8_general_ci NULLCOMMENT'datax运行脚本',PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=7CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Table structure for job_jdbc_datasource-- ----------------------------DROPTABLEIFEXISTS`job_jdbc_datasource`;CREATETABLE`job_jdbc_datasource`(`id`bigint(20)NOTNULLAUTO_INCREMENTCOMMENT'自增主键',`datasource_name`varchar(200)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'数据源名称',`datasource_group`varchar(200)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULT'Default'COMMENT'数据源分组',`jdbc_username`varchar(100)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'用户名',`jdbc_password`varchar(200)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'密码',`jdbc_url`varchar(500)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'jdbc url',`jdbc_driver_class`varchar(200)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'jdbc驱动类',`status`tinyint(1)NOTNULLDEFAULT1COMMENT'状态：0删除 1启用 2禁用',`create_by`varchar(20)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'创建人',`create_date`datetime(0)NULLDEFAULTCURRENT_TIMESTAMP(0)COMMENT'创建时间',`update_by`varchar(20)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'更新人',`update_date`datetime(0)NULLDEFAULTNULLCOMMENT'更新时间',`comments`varchar(1000)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'备注',PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=6CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci COMMENT='jdbc数据源配置' ROW_FORMAT = Dynamic;-- ------------------------------ Table structure for job_lock-- ----------------------------DROPTABLEIFEXISTS`job_lock`;CREATETABLE`job_lock`(`lock_name`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'锁名称',PRIMARYKEY(`lock_name`)USINGBTREE)ENGINE=InnoDBCHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Records of job_lock-- ----------------------------INSERTINTO`job_lock`VALUES('schedule_lock');-- ------------------------------ Table structure for job_log-- ----------------------------DROPTABLEIFEXISTS`job_log`;CREATETABLE`job_log`(`id`bigint(20)NOTNULLAUTO_INCREMENT,`job_group`int(11)NOTNULLCOMMENT'执行器主键ID',`job_id`int(11)NOTNULLCOMMENT'任务，主键ID',`job_desc`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULL,`executor_address`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器地址，本次执行的地址',`executor_handler`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器任务handler',`executor_param`varchar(512)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器任务参数',`executor_sharding_param`varchar(20)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器任务分片参数，格式如 1/2',`executor_fail_retry_count`int(11)NULLDEFAULT0COMMENT'失败重试次数',`trigger_time`datetime(0)NULLDEFAULTNULLCOMMENT'调度-时间',`trigger_code`int(11)NOTNULLCOMMENT'调度-结果',`trigger_msg`textCHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLCOMMENT'调度-日志',`handle_time`datetime(0)NULLDEFAULTNULLCOMMENT'执行-时间',`handle_code`int(11)NOTNULLCOMMENT'执行-状态',`handle_msg`textCHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLCOMMENT'执行-日志',`alarm_status`tinyint(4)NOTNULLDEFAULT0COMMENT'告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',`process_id`varchar(20)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'datax进程Id',`max_id`bigint(20)NULLDEFAULTNULLCOMMENT'增量表max id',PRIMARYKEY(`id`)USINGBTREE,INDEX`I_trigger_time`(`trigger_time`)USINGBTREE,INDEX`I_handle_code`(`handle_code`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=0CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Table structure for job_log_report-- ----------------------------DROPTABLEIFEXISTS`job_log_report`;CREATETABLE`job_log_report`(`id`int(11)NOTNULLAUTO_INCREMENT,`trigger_day`datetime(0)NULLDEFAULTNULLCOMMENT'调度-时间',`running_count`int(11)NOTNULLDEFAULT0COMMENT'运行中-日志数量',`suc_count`int(11)NOTNULLDEFAULT0COMMENT'执行成功-日志数量',`fail_count`int(11)NOTNULLDEFAULT0COMMENT'执行失败-日志数量',PRIMARYKEY(`id`)USINGBTREE,UNIQUEINDEX`i_trigger_day`(`trigger_day`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=28CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Records of job_log_report-- ----------------------------INSERTINTO`job_log_report`VALUES(20,'2019-12-07 00:00:00',0,0,0);INSERTINTO`job_log_report`VALUES(21,'2019-12-10 00:00:00',77,52,23);INSERTINTO`job_log_report`VALUES(22,'2019-12-11 00:00:00',9,2,11);INSERTINTO`job_log_report`VALUES(23,'2019-12-13 00:00:00',9,48,74);INSERTINTO`job_log_report`VALUES(24,'2019-12-12 00:00:00',10,8,30);INSERTINTO`job_log_report`VALUES(25,'2019-12-14 00:00:00',78,45,66);INSERTINTO`job_log_report`VALUES(26,'2019-12-15 00:00:00',24,76,9);INSERTINTO`job_log_report`VALUES(27,'2019-12-16 00:00:00',23,85,10);-- ------------------------------ Table structure for job_logglue-- ----------------------------DROPTABLEIFEXISTS`job_logglue`;CREATETABLE`job_logglue`(`id`int(11)NOTNULLAUTO_INCREMENT,`job_id`int(11)NOTNULLCOMMENT'任务，主键ID',`glue_type`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'GLUE类型',`glue_source`mediumtextCHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLCOMMENT'GLUE源代码',`glue_remark`varchar(128)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'GLUE备注',`add_time`datetime(0)NULLDEFAULTNULL,`update_time`datetime(0)NULLDEFAULTNULL,PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=1CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Table structure for job_registry-- ----------------------------DROPTABLEIFEXISTS`job_registry`;CREATETABLE`job_registry`(`id`int(11)NOTNULLAUTO_INCREMENT,`registry_group`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULL,`registry_key`varchar(191)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULL,`registry_value`varchar(191)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULL,`update_time`datetime(0)NULLDEFAULTNULL,PRIMARYKEY(`id`)USINGBTREE,INDEX`i_g_k_v`(`registry_group`,`registry_key`,`registry_value`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=26CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Table structure for job_user-- ----------------------------DROPTABLEIFEXISTS`job_user`;CREATETABLE`job_user`(`id`int(11)NOTNULLAUTO_INCREMENT,`username`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'账号',`password`varchar(100)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'密码',`role`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'角色：0-普通用户、1-管理员',`permission`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'权限：执行器ID列表，多个逗号分割',PRIMARYKEY(`id`)USINGBTREE,UNIQUEINDEX`i_username`(`username`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=10CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Records of job_user-- ----------------------------INSERTINTO`job_user`VALUES(1,'admin','$2a$10$2KCqRbra0Yn2TwvkZxtfLuWuUP5KyCWsljO/ci5pLD27pqR3TV1vy','ROLE_ADMIN',NULL);/**v2.1.1脚本更新*/ALTERTABLE`job_info`ADDCOLUMN`replace_param`VARCHAR(100)NULLDEFAULTNULLCOMMENT'动态参数'AFTER`job_json`,ADDCOLUMN`jvm_param`VARCHAR(200)NULLDEFAULTNULLCOMMENT'jvm参数'AFTER`replace_param`,ADDCOLUMN`time_offset`INT(11)NULLDEFAULT'0'COMMENT'时间偏移量'AFTER`jvm_param`;/**增量改版脚本更新 */ALTERTABLE`job_info`DROPCOLUMN`time_offset`;ALTERTABLE`job_info`ADDCOLUMN`inc_start_time`DATETIMENULLDEFAULTNULLCOMMENT'增量初始时间'AFTER`jvm_param`;-- ------------------------------ Table structure for job_template-- ----------------------------DROPTABLEIFEXISTS`job_template`;CREATETABLE`job_template`(`id`int(11)NOTNULLAUTO_INCREMENT,`job_group`int(11)NOTNULLCOMMENT'执行器主键ID',`job_cron`varchar(128)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'任务执行CRON',`job_desc`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULL,`add_time`datetime(0)NULLDEFAULTNULL,`update_time`datetime(0)NULLDEFAULTNULL,`user_id`int(11)NOTNULLCOMMENT'修改用户',`alarm_email`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'报警邮件',`executor_route_strategy`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器路由策略',`executor_handler`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器任务handler',`executor_param`varchar(512)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'执行器参数',`executor_block_strategy`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'阻塞处理策略',`executor_timeout`int(11)NOTNULLDEFAULT0COMMENT'任务执行超时时间，单位秒',`executor_fail_retry_count`int(11)NOTNULLDEFAULT0COMMENT'失败重试次数',`glue_type`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'GLUE类型',`glue_source`mediumtextCHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLCOMMENT'GLUE源代码',`glue_remark`varchar(128)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'GLUE备注',`glue_updatetime`datetime(0)NULLDEFAULTNULLCOMMENT'GLUE更新时间',`child_jobid`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'子任务ID，多个逗号分隔',`trigger_last_time`bigint(13)NOTNULLDEFAULT0COMMENT'上次调度时间',`trigger_next_time`bigint(13)NOTNULLDEFAULT0COMMENT'下次调度时间',`job_json`textCHARACTERSET utf8 COLLATE utf8_general_ci NULLCOMMENT'datax运行脚本',`jvm_param`varchar(200)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'jvm参数',`project_id`int(11)NULLDEFAULTNULLCOMMENT'所属项目Id',PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=22CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;/**添加数据源字段 */ALTERTABLE`job_jdbc_datasource`ADDCOLUMN`datasource`VARCHAR(45)NOTNULLCOMMENT'数据源'AFTER`datasource_name`;/**添加分区字段 */ALTERTABLE`job_info`ADDCOLUMN`partition_info`VARCHAR(100)NULLDEFAULTNULLCOMMENT'分区信息'AFTER`inc_start_time`;/**2.1.1版本新增---------------------------------------------------------------------------------------------- *//**最近一次执行状态 */ALTERTABLE`job_info`ADDCOLUMN`last_handle_code`INT(11)NULLDEFAULT'0'COMMENT'最近一次执行状态'AFTER`partition_info`;/**zookeeper地址 */ALTERTABLE`job_jdbc_datasource`ADDCOLUMN`zk_adress`VARCHAR(200)NULLDEFAULTNULLAFTER`jdbc_driver_class`;ALTERTABLE`job_info`CHANGE COLUMN`executor_timeout``executor_timeout`INT(11)NOTNULLDEFAULT'0'COMMENT'任务执行超时时间，单位分钟';/**用户名密码改为非必填 */ALTERTABLE`job_jdbc_datasource`CHANGE COLUMN`jdbc_username``jdbc_username`VARCHAR(100)CHARACTERSET'utf8mb4'NULLDEFAULTNULLCOMMENT'用户名',CHANGE COLUMN`jdbc_password``jdbc_password`VARCHAR(200)CHARACTERSET'utf8mb4'NULLDEFAULTNULLCOMMENT'密码';/**添加mongodb数据库名字段 */ALTERTABLE`job_jdbc_datasource`ADDCOLUMN`database_name`VARCHAR(45)NULLDEFAULTNULLCOMMENT'数据库名'AFTER`datasource_group`;/**添加执行器资源字段 */ALTERTABLE`job_registry`ADDCOLUMN`cpu_usage`DOUBLENULLAFTER`registry_value`,ADDCOLUMN`memory_usage`DOUBLENULLAFTER`cpu_usage`,ADDCOLUMN`load_average`DOUBLENULLAFTER`memory_usage`;-- ------------------------------ Table structure for job_permission-- ----------------------------DROPTABLEIFEXISTS`job_permission`;CREATETABLE`job_permission`(`id`int(11)NOTNULLAUTO_INCREMENTCOMMENT'主键',`name`varchar(50)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NOTNULLCOMMENT'权限名',`description`varchar(11)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'权限描述',`url`varchar(255)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULL,`pid`int(11)NULLDEFAULTNULL,PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=3CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;ALTERTABLE`job_info`ADDCOLUMN`replace_param_type`varchar(255)NULLCOMMENT'增量时间格式'AFTER`last_handle_code`;ALTERTABLE`job_info`ADDCOLUMN`project_id`int(11)NULLCOMMENT'所属项目id'AFTER`job_desc`;ALTERTABLE`job_info`ADDCOLUMN`reader_table`VARCHAR(255)NULLCOMMENT'reader表名称'AFTER`replace_param_type`,ADDCOLUMN`primary_key`VARCHAR(50)NULLCOMMENT'增量表主键'AFTER`reader_table`,ADDCOLUMN`inc_start_id`VARCHAR(20)NULLCOMMENT'增量初始id'AFTER`primary_key`,ADDCOLUMN`increment_type`TINYINT(4)NULLCOMMENT'增量类型'AFTER`inc_start_id`,ADDCOLUMN`datasource_id`BIGINT(11)NULLCOMMENT'数据源id'AFTER`increment_type`;CREATETABLE`job_project`(`id`int(11)NOTNULLAUTO_INCREMENTCOMMENT'key',`name`varchar(100)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULLCOMMENT'project name',`description`varchar(200)CHARACTERSET utf8mb4 COLLATE utf8mb4_general_ci NULLDEFAULTNULL,`user_id`int(11)NULLDEFAULTNULLCOMMENT'creator id',`flag`tinyint(4)NULLDEFAULT1COMMENT'0 not available, 1 available',`create_time`datetime(0)NULLDEFAULTCURRENT_TIMESTAMP(0)COMMENT'create time',`update_time`datetime(0)NULLDEFAULTCURRENT_TIMESTAMP(0)COMMENT'update time',PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=1CHARACTERSET= utf8mb4 COLLATE= utf8mb4_general_ci ROW_FORMAT = Dynamic;ALTERTABLE`job_info`CHANGE COLUMN`author``user_id`INT(11)NOTNULLCOMMENT'修改用户';ALTERTABLE`job_info`CHANGE COLUMN`increment_type``increment_type`TINYINT(4)NULLDEFAULT0COMMENT'增量类型';
• 修改项目相关配置 在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径vi ./modules/{module_name}/bin/env.properties### 执行datax的python脚本地址# 我的配置地址是这样，修改成自己的datax地址PYTHON_PATH=/mnt/datax/bin/datax.py### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略DATAX_ADMIN_PORT=
• 启动服务- 一键启动所有服务，执行以下命令./bin/start-all.sh- 中途可能发生部分模块启动失败或者卡住，可以退出重复执行，如果需要改变某一模块服务端口号，则：vi ./modules/{module_name}/bin/env.properties- 找到SERVER_PORT配置项，改变它的值即可。 当然也可以单一地启动某一模块服务：./bin/start.sh -m{module_name}- 一键取消所有服务./bin/stop-all.sh- 当然也可以单一地停止某一模块服务：./bin/stop.sh -m{module_name}
• 查看服务（注意！注意！）- 在Linux环境下使用JPS命令，查看是否出现DataXAdminApplication和DataXExecutorApplication进程，如果存在这表示项目运行成功- 如果项目启动失败，请检查启动日志：modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out
• 访问datax web地址 部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口） 输入用户名 admin 密码 123456 就可以直接访问系统出现以下界面说明项目可以正常访问