Hadoop HDFS shell 命令行常用操作

前言：Hadoop HDFS shell的命令和Linux的shell命令有类似的地方，基本上会使用Linux命令的话，把HDFS的理论理解一下就可以了。

一、创建文件夹

hadoop fs -mkdir [-p] <path>

path为待创建的目录

-p选项的行为与unix mkdir -p类似，他会沿着路经创建父目录

二、查看指定目录下的内容

hadoop fs -ls [-h] [-R] [<path>…]

Path指定目录路径

-h人性化显示文件size

-R 递归查看指定目录及其子目录

三、上传文件到HDFS指定目录下

hadoop fs -put [-f] [- p]<localsrc>…<dst >

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

localsrc 本地文件系统（客户端所在机器）

dst 目标文件系统（HDFS）

四、查看HDFS文件内容

hadoop fs -cat <src> ...

读取指定文件全部内容，显示在标准输出控制台。

注意：对于大文件内容读取，慎重。

五、下载HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>

下载文件到本地文件系统指定目录，localdst必须是目录

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

六、拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst>

-f 覆盖目标文件（已存在下）

七、追加数据到HDFS文件中

hadoop fs -appendToFile <localsrc> ... <dst>

将所有给定本地文件的内容追加到给定dst文件。

dst如果文件不存在，将创建该文件。

如果<localSrc>为-，则输入为从标准输入中读取

应用场景：小文件合并

八、HDFS数据移动操作

hadoop fs -mv <src> ... <dst>

移动文件到指定文件夹下

可以使用该命令移动数据，重命名文件的名称