hadoop HDFS 常用命令

HDFS（Hadoop Distributed File System）提供了一系列命令行工具，用于管理和操作分布式文件系统。以下是一些常用的HDFS命令及其功能：

1. 查看文件和目录信息：- hdfs dfs -ls /path: 列出指定路径下的文件或目录。- hdfs dfs -ls -R /path: 递归地列出指定路径下所有子目录中的文件和目录。
2. 创建目录：- hdfs dfs -mkdir /path/to/directory: 创建一个新的目录。
3. 上传文件到HDFS：- hdfs dfs -put localfile /path/to/hdfs: 将本地文件上传至HDFS的指定路径。- hdfs dfs -copyFromLocal localfile /path/to/hdfs: 同样将本地文件复制到HDFS，这是-put命令的一个别名。
4. 从HDFS下载文件到本地：- hdfs dfs -get /path/to/hdfs localfile: 从HDFS下载指定文件到本地。- hdfs dfs -copyToLocal /path/to/hdfs localfile: 同样从HDFS复制文件到本地，是-get命令的一个别名。
5. 移动和重命名文件/目录：- hdfs dfs -mv /source/path /destination/path: 在HDFS内部移动或重命名文件或目录。
6. 删除文件/目录：- hdfs dfs -rm /path/to/file: 删除单个文件。- hdfs dfs -rm -r /path/to/directory: 删除一个目录及其包含的所有文件和子目录。- hdfs dfs -rm -skipTrash /path/to/file: 直接删除而不先放入回收站（Trash）。
7. 查看文件内容：- hdfs dfs -cat /path/to/file: 显示文件内容。
8. 检查文件或目录空间占用情况：- hdfs dfs -du /path: 查看指定路径的空间使用情况。- hdfs dfs -du -s /path: 查看指定路径的总大小。
9. 更改文件权限、用户组等元数据信息：- hdfs dfs -chmod octal-mode /path/to/file: 更改文件权限。- hdfs dfs -chown username:groupname /path/to/file: 更改文件的所有者和所属组。

请注意，在实际使用中，请确保命令格式正确，并且与所使用的Hadoop版本兼容。在某些较新版本的Hadoop中，可以直接使用

hdfs

替代

hadoop fs

命令前缀来执行相同的操作。