二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)

一、目的

需要用Kettle从Hive的DWS层库表数据增量同步到ClickHouse的ADS层库表中，不过这次的增量判断字段是day字段，不像之前的create_time字段

因为day字段需要转换类型，而 create_time字段字段不需要转换类型，因此两者的Kettle任务配置有所不同，也踩了一些坑，因此再写一篇博客整理一下，根据day字段判断的情况下kettle如何配置才能从Hive增量导入到ClickHouse中

下面博客链接是之前根据create_time字段判断进行从Hive到ClickHouse的增量导入

一百二十八、Kettle——从Hive增量导入到ClickHouse(根据create_time字段判断)

http://t.csdnimg.cn/ygzN5http://t.csdnimg.cn/ygzN5

二、Hive的DWS层建表语句和ClickHouse的ADS建表语句

（一）Hive的DWS层建表语句

create  table  if not exists  dws_statistics_volume_1day(
    device_no        string         comment '设备编号',
    scene_name       string         comment '场景名称',
    lane_no          int            comment '车道编号',
    lane_direction   string         comment '车道流向',
    section_no       int            comment '断面编号',
    device_direction string         comment '雷达朝向',
    sum_volume_day   int            comment '每天总流量',
    week_day         string         comment '周几',
    month            string         comment '月份'
)
comment '统计数据流量表——动态分区——1天周期'
partitioned by (day string)
stored as orc
;

（二）ClickHouse的ADS建表语句

create  table  if not exists  hurys_dc_ads.ads_statistics_volume_1day(
    device_no        String         comment '设备编号',
    scene_name       String         comment '场景名称',
    lane_no          int            comment '车道编号',
    lane_direction   String         comment '车道流向',
    section_no       int            comment '断面编号',
    device_direction String         comment '雷达朝向',
    sum_volume_day   int            comment '每天总流量',
    week_day         String         comment '周几',
    month            String         comment '月份',
    day              Date           comment '日期'
)ENGINE = MergeTree
PARTITION BY (day)
PRIMARY KEY day
order by day
TTL day + toIntervalMonth(12)
SETTINGS index_granularity = 8192;

三、实施步骤

（一）打开Kettle，新建转换任务。拖拽2个表输入、替换NULL值、字段选择、表输出控件

1.表输入控件：在输入控件模块

2.替换NULL值控件：在应用模块

3.字段选择控件：在转换控件模块

4.表输出控件：在输出控件模块

（二）配置第一个表输入控件

1、目标

通过SQL语句获取clickhouse表最新的day字段时间

2、实施步骤

select(
select
cast(day as varchar(50))
from hurys_dc_ads.ads_statistics_volume_1day
order by day desc limit 1) as day

注意：SQL语句中的day字段需要转换类型cast(day as varchar(50))，因为ClickHouse中day字段是Date字段类型

（三）配置替换NULL值控件

1、目标

防止由于目标表没有数据而导致异常，因此给第一个表输入控件的时间字段赋值

2、实施步骤

（四）配置第二个表输入控件

1、目标

通过SQL语句查询Hive中的增量数据

2、实施步骤

select
cast(device_no as varchar(50)),
cast(scene_name as varchar(50)),
lane_no,
cast(lane_direction as varchar(50)),
section_no,
cast(device_direction as varchar(50)),
sum_volume_day,
cast(week_day as varchar(50)),
cast(month as varchar(50)),
cast(day as varchar(50))
from hurys_dc_dws.dws_statistics_volume_1day
where day > ?

注意：String类型的字段需要转换类型，类似 cast(day as varchar(50))

经测试：

--int字段、float、timestamp字段都可以直接用
--string字段   cast(device_no as varchar(50))

（五）配置字段选择控件

1.在选择和修改页面，点击获取选择的字段

2.在元数据模块，点击获取改变的字段。修改相应的字段，比如字段名、字段类型、字段格式等等

注意：这里的day字段千万不要选择Date字段类型

（六）配置表输出控件

1.在主选项页面

2.在数据库字段页面

点击获取字段，检查相同字段名是否映射

（七）Ctrl+S保存，给Kettle任务命名，然后点击运行

（八）再次点击运行一下kettle任务，验证是否增量导入

之前已运行过任务，Hive表中数据并没增加，因此再次运行增量导入任务的话，就会显示数据为0

这样，根据day字段判断并从Hive增量导入到ClickHouse的Kettle任务就配置成功了！