(10)Hive的相关概念——文件格式和数据压缩

一、文件格式

 Hive数据存储的本质还是HDFS，所有的**数据读写都基于HDFS的文件**来实现。为了提高对HDFS文件读写的性能，**Hive提供了多种文件存储格式：TextFile、SequenceFile、ORC、Parquet**等。不同的文件存储格式具有不同的存储特点，有的可以降低存储空间（列式存储），有的可以提高查询性能（行式存储）。**Hive的文件格式在建表时指定，默认是TextFile**。

1.1 列式存储和行式存储

1.1.1 行****存储的特点

查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 

1.1.2 列****存储的特点

每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。TextFile和 SequenceFile的存储格式都是基于行存储的，ORC和Parquet是基于列式存储的。

1.2 TextFile

 **TextFile是Hive中默认的文件格式**，也是最常见的数据文件格式，**存储形式为按行存储**。Hive设计时考虑到为了避免各种编码及数据错乱的问题，选用了TextFile作为默认的格式。建表时不指定存储格式即为TextFile，导入数据时把数据文件拷贝至HDFS不进行处理。

1.3 SequenceFile

SequenceFile是Hadoop里用来**存储序列化的键值对，**即二进制的一种文件格式。SequenceFile文件也可以作为MapReduce作业的输入和输出，hive也支持这种格式。

--sequencefile表
create table tb_sogou_seq(
    stime string,
    userid string,
    keyword string,
    clickorder string,
    url string
)
row format delimited fields terminated by '\t'
stored as sequencefile;

insert into table tb_sogou_seq
select * from tb_sogou_source;  -- tb_sogou_source表 是txt文件格式

下图是插入原始txt文件（tb_sogou_source）大概有1.07G1260万条数据存储成SequenceFile的文件大小。

1.4 Parquet

   Parquet是一种支持嵌套结构的**列式存储文件格式**。作为大数据系统中OLAP查询的优化方案，它已经被多种查询引擎原生支持，并且部分高性能引擎将其作为默认的文件存储格式。

--Parquet格式
create table tb_sogou_parquet(
    stime string,
    userid string,
    keyword string,
    clickorder string,
    url string
)
row format delimited fields terminated by '\t'
stored as parquet;

insert into table tb_sogou_parquet
select * from tb_sogou_source; -- tb_sogou_source表 是txt文件格式

下面图示是插入原始txt文件（tb_sogou_source）大概有1.07G1260万条数据存储成Parquet的文件大小。

1.5 ORC

ORC（OptimizedRC File）文件格式也是一种Hadoop生态圈中的列式存储格式；它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。

--ORC格式
create table tb_sogou_orc(
    stime string,
    userid string,
    keyword string,
    clickorder string,
    url string
)
row format delimited fields terminated by '\t'
stored as orc;

insert into table tb_sogou_orc
select * from tb_sogou_source;

下面图示是插入原始txt文件（tb_sogou_source）大概有1.07G1260万条数据存储成ORC的文件大小。

二、数据压缩

2.1 数据压缩-概述

 Hive压缩实际上说的就是MapReduce的压缩。Hive底层运行MapReduce程序时，磁盘I/O操作、网络数据传输、shuffle（清洗）和merge（合并）要花大量的时间，尤其是数据规模很大和工作负载密集的情况下。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，**数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。MR ****支持的压缩算法如下**：

2.1.1 压缩的优点

• 减小文件存储所占空间
• 加快文件传输效率，从而提高系统的处理速度
• 降低IO读写的次数

2.1.2 压缩的缺点

• 使用数据时需要先对文件解压，加重CPU负荷，压缩算法越复杂，解压时间越长
• Hive中的压缩就是使用了Hadoop中的压缩实现的，所以Hadoop中支持的压缩在Hive中都可以直接使用。

2.2 Hive中压缩配置

**2.2.1 开启Map输出阶段压缩（MR 引擎） **

开启map输出阶段的压缩可以减少map和Reduce task间数据传输量。具体参数有：

--开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;
--开启mapreduce中map输出端的压缩功能
set mapreduce.map.output.compress=true;
--设置mapreduce中map输出端的数据的压缩方式
set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

2.2.2 开启Reduce输出阶段压缩

当 Hive将执行结果写入到表中时，输出内容同样可以进行压缩。其余参数如下：

#当Hive将输出内容写入到表中时，输出内容同样可以进行压缩。属性hive.exec.compress.output控制着这个功能
--开启hive执行结果的输出压缩功能
set hive.exec.compress.output=true;

---开启mapreduce最终输出数据压缩
set mapreduce.output.fileoutputformat.compress=true;

---设置mapreduce最终数据输出压缩方式
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

---设置mapreduce最终数据输出压缩为块压缩
set mapreduce.output.fileoutputformat.compress.type=BLOCK;

2.3 Hive中压缩测试

• textfile格式snappy压缩

--创建表，指定为textfile格式，并使用snappy压缩
create table log_orc_snappy(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by '\t'
stored as textfile 
tblproperties("orc.compress"="SNAPPY");

• orc格式snappy压缩

--创建表，指定为orc格式，并使用snappy压缩
create table log_orc_snappy(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by '\t'
stored as orc
tblproperties("orc.compress"="SNAPPY");

• orc格式不使用压缩

--创建表，指定为orc格式，并使用snappy压缩
create table log_orc_snappy(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by '\t'
stored as orc
tblproperties("orc.compress"="NONE");