一百一十七、Hadoop——GZIP压缩并解压HDFS中的文件

一、解压HDFS中的gzip压缩文件

首先，先把HDFS中的gzip压缩文件下载到本地

[root@hurys22 ~]# hdfs dfs -get /rtp/statistics/statistics2023-05-17.csv.gz /opt/hdfs_rtp/

然后，在/opt/hdfs_rtp/目录下查看文件

[root@hurys22 ~]# cd /opt/hdfs_rtp/
[root@hurys22 hdfs_rtp]# ls
evaluation2023-05-09.csv evaluation2023-05-10.csv evaluation2023-05-11.csv statistics2023-05-17.csv.gz

接着，在/opt/hdfs_rtp/目录下解压文件

[root@hurys22 hdfs_rtp]# gzip -dv statistics2023-05-17.csv.gz
statistics2023-05-17.csv.gz: 85.0% -- replaced with statistics2023-05-17.csv

继而，再次查看文件

[root@hurys22 hdfs_rtp]# ls
evaluation2023-05-09.csv evaluation2023-05-10.csv evaluation2023-05-11.csv statistics2023-05-17.csv

最后，查看解压后的文件前两行数据

[root@hurys22 hdfs_rtp]# head -2 statistics2023-05-17.csv
device_no ,cycle ,coil_num ,create_time ,lane_no ,section_no ,coil_no ,volume_sum ,volume_person ,volume_car_non ,volume_car_small ,volume_car_middle ,volume_car_big ,speed_avg ,speed_85 ,occupancy ,headway ,gap
radar-1083 ,95 ,2 ,2023-05-17 09:49:59 ,1 ,2 ,1 ,64 ,62 ,61 ,65 ,85 ,53 ,84 ,43 ,

二、gzip压缩文件

首先，在/opt/hdfs_rtp/目录下输入压缩命令

[root@hurys22 hdfs_rtp]# gzip statistics2023-05-17.csv

然后，在/opt/hdfs_rtp/目录下查看文件

[root@hurys22 hdfs_rtp]# ls
evaluation2023-05-09.csv evaluation2023-05-10.csv evaluation2023-05-11.csv statistics2023-05-17.csv.gz