Linux系统下的hadoop常用命令

目录

之前在hive的删库、表和装载数据一文中提到了几个Linux系统下的hadoop命令，现在进行整合，记录几个常用命令。

首先：
hadoop fs：通用的文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件等。
hdfs dfs：针对HDFS文件系统的操作。

创建目录

hadoop fs -mkdir [-p] < paths>
选项：-p
加-p可以创建多级目录。

查看目录下内容，包括文件名，权限，所有者，大小和修改时间

hadoop fs -ls[-R] < args>
选项：-R
递归地显示子目录下的内容

将本地文件或目录上传到HDFS中的路径

hadoop fs -put < /localdir>  < /targetdir>

从本地复制文件到hdfs文件系统（与-put命令相似）

hadoop fs -copyFromLocal [-f] < /localsrc> < /targetdir> 
选项：
如果目标已存在，则-f选项将覆盖目标。

将文件或目录从HDFS中的路径拷贝到本地文件路径

hadoop fs -get [-ignoreCrc][-crc] < /hdfssrc> < /localdir>
选项：
-ignorecrc选项复制CRC校验失败的文件。
-crc选项复制文件和CRC。

复制hdfs文件系统中的文件到本地 （与-get命令相似）

hadoop fs -copyToLocal [-ignorecrc][-crc] < /hdfssrc> < /targetdir> 

显示文件内容到标准输出上。

hadoop fs -cat/dirs/file

从hdfs上过滤包含某个字符的行内容

hadoop fs -cat < srcpath> | grep 过滤字段

在HDFS文件系统中，将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。

hadoop fs -mv < /src> < /tar>

在HDFS文件系统中，将文件或目录复制到目标路径下

hadoop fs -cp[-f][-p |-p [topax]/dirs/file1 /dirs/file2 (这个命令允许有多个源路径，此时目标路径必须是一个目录。)

选项：
-f选项覆盖已经存在的目标。
-p选项将保留文件属性[topx]（时间戳，所有权，权限，ACL，XAttr）。如果指定了-p且没有arg，则保留时间戳，所有权和权限。如果指定了-pa，则还保留权限，因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。

删除一个文件或目录

hadoop fs -rm[-f][-r|-R][-skipTrash] < /filepaths>
选项：
如果文件不存在，-f选项将不显示诊断消息或修改退出状态以反映错误。
-R选项以递归方式删除目录及其下的任何内容。
-r选项等效于-R。
-skipTrash选项将绕过垃圾桶（如果已启用），并立即删除指定的文件。当需要从超配额目录中删除文件时，这非常有用。

获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。

hadoop fs -text < /dirs/src>

创建一个零长度的文件。

hadoop fs -touchz /dirs/file

显示文件所占块数(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)。

hadoop fs -stat /dir/file

显示文件的最后1kb内容到标准输出

hadoop fs -tail [-f] < /file>
选项：
-f选项将在文件增长时输出附加数据，如在Unix中一样。

统计与指定文件模式匹配的路径下的目录，文件和字节数

hadoop fs -count < /filepaths>

显示给定目录中包含的文件和目录的大小或文件的长度，用字节大小表示，文件名用完整的HDFS协议前缀表示，以防它只是一个文件。

hadoop fs -du [-s][-h] < /dirpaths>
选项：
-s选项将显示文件长度的汇总摘要，而不是单个文件。
-h选项将以“人类可读”的方式格式化文件大小（例如64.0m而不是67108864）

最后更多

Usage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat[-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R]GROUP PATH...][-chmod [-R] <MODE[,MODE]...| OCTALMODE> PATH...][-chown [-R][OWNER][:[GROUP]] PATH...][-copyFromLocal [-f][-p][-l][-d][-t <thread count>] <localsrc> ... <dst>][-copyToLocal [-f][-p][-ignoreCrc][-crc] <src> ... <localdst>][-count [-q][-h][-v][-t [<storage type>]][-u][-x][-e] <path> ...][-cp[-f][-p |-p[topax]][-d] <src> ... <dst>][-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshotDir> <snapshotName>][-df [-h][<path> ...]][-du [-s][-h][-v][-x] <path> ...][-expunge][-find <path> ... <expression> ...][-get [-f][-p][-ignoreCrc][-crc] <src> ... <localdst>][-getfacl [-R] <path>][-getfattr [-R]{-n name |-d}[-e en] <path>][-getmerge [-nl][-skip-empty-file] <src> <localdst>][-head <file>][-help [cmd ...]][-ls[-C][-d][-h][-q][-R][-t][-S][-r][-u][-e][<path> ...]][-mkdir [-p] <path> ...][-moveFromLocal <localsrc> ... <dst>][-moveToLocal <src> <localdst>][-mv <src> ... <dst>][-put [-f][-p][-l][-d] <localsrc> ... <dst>][-renameSnapshot <snapshotDir> <oldName> <newName>][-rm[-f][-r|-R][-skipTrash][-safely] <src> ...][-rmdir[--ignore-fail-on-non-empty] <dir> ...][-setfacl [-R][{-b|-k}{-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]][-setfattr {-n name [-v value]|-x name} <path>][-setrep [-R][-w] <rep> <path> ...][-stat [format] <path> ...][-tail [-f][-s <sleep interval>] <file>][-test -[defsz] <path>][-text [-ignoreCrc] <src> ...][-touch [-a][-m][-t TIMESTAMP ][-c] <path> ...][-touchz <path> ...][-truncate [-w] <length> <path> ...][-usage [cmd ...]]