【Hive-小文件合并】Hive外部分区表利用Insert overwrite的暴力方式进行小文件合并

这里我们直接用实例来讲解，Hive外部分区表有单分区多分区的不同情况，这里我们针对不同情况进行不同的方式处理。

• 利用overwrite合并单独日期的小文件

1、单分区

# 开启此表达式：`(sample_date)?+.+` set hive.support.quoted.identifiers=none;# 此sql是将20230713分区的小文件进行合并# `(sample_date)?+.+`：表示select 出除了sample_date分区字段以外的所有字段（字段较多的时候用这种方式很便捷）insert overwrite table`test`.`table`partition(sample_date='20230713')select`(sample_date)?+.+`from`test`.`table`where sample_date='20230713';

2、多分区

# 开启此表达式：`(sample_date|msgtype)?+.+`set hive.support.quoted.identifiers=none;# 此sql是将20230713分区的小文件进行合并(但是注意还有子分区：msgtype)# `(sample_date|msgtype)?+.+`：表示select 出除了sample_date和msgtype这两个分区字段以外的所有字段（字段较多的时候用这种方式很便捷）insert overwrite table`test`.`table`partition(sample_date='20230713')select`(sample_date|msgtype)?+.+`from`test`.`table`where sample_date='20230713';

• 利用overwrite合并一定分区范围内的小文件

1、单分区

注意：

合并一定分区范围内的小文件，select 后必须是 *

，否则会报错。

insert overwrite table`test`.`table`partition(sample_date)select*from`test`.`table`where sample_date between'20230712'and'20230713';

2、多分区

注意：

合并一定分区范围内的小文件不管单分区还是多分区，select 后必须都是 *

，否则会报错。

insert overwrite table`test`.`table`partition(sample_date, partition_name)select*from`test`.`table`where sample_date between'20230802'and'20230803';