HDFS常用命令操作时

1、创建目录

创建单层目录

执行命令：

hdfs dfs -mkdir /ied

利用Hadoop WebUI查看创建的目录

创建多层目录，执行命令：

hdfs dfs -mkdir /luzhou/lzy

，会报错，因为

/luzhou

目录不存在

可以先创建

/luzhou

目录，然后在里面再创建

lzy

子目录，但是也可以一步到位，需要一个

-p

参数

执行命令：

hdfs dfs -mkdir -p /luzhou/lzy

利用Hadoop WebUI查看创建的多层目录

2、查看目录

执行命令：

hdfs dfs -ls /

，查看根目录

执行命令：

hdfs dfs -ls /luzhou

查看根目录里全部的资源，要用到地柜参数

-R

（必须大写），执行命令：

hdfs dfs -ls -R /

3、上传本地文件到HDFS

创建

test.txt

文件，执行命令：

echo "hello hadoop world" > test.txt

查看

test.txt

文件内容

上传

test.txt

文件到HDFS的

/ied

目录，执行命令：

hdfs dfs -put test.txt /ied

查看是否上传成功

利用Hadoop WebUI界面查看

4、查看文件内容

执行命令：

hdfs dfs -cat /ied/test.txt

5、下载HDFS文件到本地

先删除本地的

test.txt

文件

下载HDFS文件系统的

/ied/test.txt

到本地当前目录不改名，执行命令：

hdfs dfs -get /ied/test.txt，检测是否下载成功

可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名

执行命令：

hdfs dfs -get /ied/test.txt /home/exam.txt

检查是否下载成功

6、删除HDFS文件

执行命令：

hdfs dfs -rm /ied/test.txt

检查是否删除成功

使用通配符，可以删除满足一定特征的文件

7、删除HDFS目录

执行命令：

hdfs dfs -rmdir /luzhou

提示

-rmdir

命令删除不了非空目录，要递归删除才能删除非空目录：

hdfs dfs -rm -r /luzhou

删除空目录

/BigData

，执行命令：

hdfs dfs -rmdir /BigData

8、移动目录或文件

-mv

命令兼有移动与改名的双重功能

将

/ied

目录更名为

/ied01

，执行命令：

hdfs dfs -mv /ied /ied01

利用Hadoop WebUI查看是否更名成功

将

/ied01/exam.txt

更名为

/ied/test.txt

，执行命令：

hdfs dfs -mv /ied01/exam.txt /ied01/test.txt

查看改名后的

test.txt

文件内容

9、文件合并下载

现在

/ied01

里有一个

test.txt

，创建

sport.txt

和

music.txt

并上传

合并

/ied01

目录的文件下载到本地当前目录的

merger.txt

，执行命令：

hdfs dfs -getmerge /ied01/* merger.txt

查看本地的

merger.txt

，看是不是三个文件合并后的内容

merger.txt

是

music.txt

、

sport.txt

与

test.txt

合并后的结果

10、检查文件信息

检查

test.txt

文件，执行命令：

hdfs fsck /ied01/test.txt -files -blocks -locations -racks