0
0

Hadoop之hdfs操作

HDFS的常见Shell操作

直接在命令行中输入hdfs dfs，可以查看dfs后面可以跟的所有参数
注意：这里面的[]表示是可选项，<>表示是必填项

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs
  2. Usage: hadoop fs [generic options]
  3.         [-appendToFile <localsrc> ... <dst>]
  4.         [-cat [-ignoreCrc] <src> ...]
  5.         [-checksum [-v] <src> ...]
  6.         [-chgrp [-R] GROUP PATH...]
  7.         [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
  8.         [-chown [-R] [OWNER][:[GROUP]] PATH...]
  9.         [-concat <target path> <src path> <src path> ...]
  10.         [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] [-q <thread pool queue size>] <localsrc> ... <dst>]
  11.         [-copyToLocal [-f] [-p] [-crc] [-ignoreCrc] [-t <thread count>] [-q <thread pool queue size>] <src> ... <localdst>]
  12.         [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] [-s] <path> ...]
  13.         [-cp [-f] [-p | -p[topax]] [-d] [-t <thread count>] [-q <thread pool queue size>] <src> ... <dst>]
  14.         [-createSnapshot <snapshotDir> [<snapshotName>]]
  15.         [-deleteSnapshot <snapshotDir> <snapshotName>]
  16.         [-df [-h] [<path> ...]]
  17.         [-du [-s] [-h] [-v] [-x] <path> ...]
  18.         [-expunge [-immediate] [-fs <path>]]
  19.         [-find <path> ... <expression> ...]
  20.         [-get [-f] [-p] [-crc] [-ignoreCrc] [-t <thread count>] [-q <thread pool queue size>] <src> ... <localdst>]
  21.         [-getfacl [-R] <path>]
  22.         [-getfattr [-R] {-n name | -d} [-e en] <path>]
  23.         [-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
  24.         [-head <file>]
  25.         [-help [cmd ...]]
  26.         [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
  27.         [-mkdir [-p] <path> ...]
  28.         [-moveFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
  29.         [-moveToLocal <src> <localdst>]
  30.         [-mv <src> ... <dst>]
  31.         [-put [-f] [-p] [-l] [-d] [-t <thread count>] [-q <thread pool queue size>] <localsrc> ... <dst>]
  32.         [-renameSnapshot <snapshotDir> <oldName> <newName>]
  33.         [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
  34.         [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
  35.         [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
  36.         [-setfattr {-n name [-v value] | -x name} <path>]
  37.         [-setrep [-R] [-w] <rep> <path> ...]
  38.         [-stat [format] <path> ...]
  39.         [-tail [-f] [-s <sleep interval>] <file>]
  40.         [-test -[defswrz] <path>]
  41.         [-text [-ignoreCrc] <src> ...]
  42.         [-touch [-a] [-m] [-t TIMESTAMP (yyyyMMdd:HHmmss) ] [-c] <path> ...]
  43.         [-touchz <path> ...]
  44.         [-truncate [-w] <length> <path> ...]
  45.         [-usage [cmd ...]]
  47. >Generic options supported are:
  48. -conf <configuration file>        specify an application configuration file
  49. -D <property=value>               define a value for a given property
  50. -fs <file:///|hdfs://namenode:port> specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations.
  51. -jt <local|resourcemanager:port>  specify a ResourceManager
  52. -files <file1,...>                specify a comma-separated list of files to be copied to the map reduce cluster
  53. -libjars <jar1,...>               specify a comma-separated list of jar files to be included in the classpath
  54. -archives <archive1,...>          specify a comma-separated list of archives to be unarchived on the compute machines
  55. >
  56. >The general command line syntax is:
  57. command [genericOptions] [commandOptions]

-ls：查询指定路径信息

查看hdfs根目录下的内容，默认情况下hdfs中什么都没有

  1. [root@bigdata01 hadoop-3.3.2]#  hdfs dfs -ls hdfs://bigdata01:9000/ 
  2. Found 23 items
  3. -rw-r--r--   2 root  supergroup      15217 2022-04-04 16:19 hdfs://bigdata01:9000/LICENSE.txt
  4. -rw-r--r--   3 30329 supergroup        482 2022-04-19 16:47 hdfs://bigdata01:9000/MapFile
  5. -rw-r--r--   2 root  supergroup       1541 2022-04-04 16:19 hdfs://bigdata01:9000/NOTICE.txt
  6. -rw-r--r--   3 30329 supergroup        482 2022-04-19 16:50 hdfs://bigdata01:9000/SeqFile
  7. -rw-r--r--   2 root  supergroup 1860100000 2022-04-20 13:14 hdfs://bigdata01:9000/hello_10000000.dat
  8. drwxr-xr-x   - root  supergroup          0 2022-04-10 12:14 hdfs://bigdata01:9000/log
  9. drwxr-xr-x   - 30329 supergroup          0 2022-04-19 16:50 hdfs://bigdata01:9000/mapFile
  10. drwxr-xr-x   - root  supergroup          0 2022-04-12 17:37 hdfs://bigdata01:9000/out
  11. drwxr-xr-x   - root  supergroup          0 2022-04-12 17:51 hdfs://bigdata01:9000/out1
  12. drwxr-xr-x   - root  supergroup          0 2022-04-19 17:18 hdfs://bigdata01:9000/out10
  13. drwxr-xr-x   - root  supergroup          0 2022-04-20 16:32 hdfs://bigdata01:9000/out10000000
  14. drwxr-xr-x   - root  supergroup          0 2022-04-19 17:28 hdfs://bigdata01:9000/out11
  15. drwxr-xr-x   - root  supergroup          0 2022-04-19 17:30 hdfs://bigdata01:9000/out12
  16. drwxr-xr-x   - root  supergroup          0 2022-04-12 18:05 hdfs://bigdata01:9000/out2
  17. drwxr-xr-x   - root  supergroup          0 2022-04-13 19:31 hdfs://bigdata01:9000/out4
  18. drwxr-xr-x   - root  supergroup          0 2022-04-13 19:51 hdfs://bigdata01:9000/out5
  19. drwxr-xr-x   - root  supergroup          0 2022-04-13 20:03 hdfs://bigdata01:9000/out6
  20. drwxr-xr-x   - root  supergroup          0 2022-04-28 21:25 hdfs://bigdata01:9000/outqueue
  21. -rw-r--r--   2 root  supergroup        161 2022-04-29 08:23 hdfs://bigdata01:9000/relation.dat
  22. drwxr-xr-x   - root  supergroup          0 2022-04-12 17:30 hdfs://bigdata01:9000/test
  23. drwx------   - root  supergroup          0 2022-04-13 19:51 hdfs://bigdata01:9000/tmp
  24. drwx------   - root  supergroup          0 2022-04-10 11:04 hdfs://bigdata01:9000/user
  25. -rw-r--r--   3 30329 supergroup         13 2022-04-05 20:58 hdfs://bigdata01:9000/user1.txt

其实后面hdfs的url这一串内容在使用时默认是可以省略的，因为hdfs在执行的时候会根据HDOOP_HOME自动识别配置文件中的fs.defaultFS属性
所以这样简写也是可以的

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -ls /
  2. Found 23 items
  3. -rw-r--r--   2 root  supergroup      15217 2022-04-04 16:19 /LICENSE.txt
  4. -rw-r--r--   3 30329 supergroup        482 2022-04-19 16:47 /MapFile
  5. -rw-r--r--   2 root  supergroup       1541 2022-04-04 16:19 /NOTICE.txt
  6. -rw-r--r--   3 30329 supergroup        482 2022-04-19 16:50 /SeqFile
  7. -rw-r--r--   2 root  supergroup 1860100000 2022-04-20 13:14 /hello_10000000.dat
  8. drwxr-xr-x   - root  supergroup          0 2022-04-10 12:14 /log
  9. drwxr-xr-x   - 30329 supergroup          0 2022-04-19 16:50 /mapFile
  10. drwxr-xr-x   - root  supergroup          0 2022-04-12 17:37 /out
  11. drwxr-xr-x   - root  supergroup          0 2022-04-12 17:51 /out1
  12. drwxr-xr-x   - root  supergroup          0 2022-04-19 17:18 /out10
  13. drwxr-xr-x   - root  supergroup          0 2022-04-20 16:32 /out10000000
  14. drwxr-xr-x   - root  supergroup          0 2022-04-19 17:28 /out11
  15. drwxr-xr-x   - root  supergroup          0 2022-04-19 17:30 /out12
  16. drwxr-xr-x   - root  supergroup          0 2022-04-12 18:05 /out2
  17. drwxr-xr-x   - root  supergroup          0 2022-04-13 19:31 /out4
  18. drwxr-xr-x   - root  supergroup          0 2022-04-13 19:51 /out5
  19. drwxr-xr-x   - root  supergroup          0 2022-04-13 20:03 /out6
  20. drwxr-xr-x   - root  supergroup          0 2022-04-28 21:25 /outqueue
  21. -rw-r--r--   2 root  supergroup        161 2022-04-29 08:23 /relation.dat
  22. drwxr-xr-x   - root  supergroup          0 2022-04-12 17:30 /test
  23. drwx------   - root  supergroup          0 2022-04-13 19:51 /tmp
  24. drwx------   - root  supergroup          0 2022-04-10 11:04 /user
  25. -rw-r--r--   3 30329 supergroup         13 2022-04-05 20:58 /user1.txt

-put: 从本地上传文件

接下来我们向hdfs中上传一个文件，使用Hadoop中的README.txt，直接上传到hdfs的根目录即可

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -put README.txt /

上传成功之后没有任何提示，注意，没有提示就是最好的结果
确认一下刚才上传的文件

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -ls /

在这里可以发现使用hdfs中的ls查询出来的信息和在linux中执行ll查询出来的信息是类似的
在这里能看到这个文件就说明刚才的上传操作是成功的

-cat: 查看HDFS文件内容

文件上传上去以后，查看一下HDFS中文件的内容，使用cat即可

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -cat /README.txt

-get: 下载文件到本地

如果我们想把hdfs中的文件下载到本地linux文件系统中需要怎么做呢？使用get即可实现

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -get /README.txt

-mkdir[-p]: 创建文件夹

后期我们需要在hdfs中维护很多文件，所以就需要创建文件夹来进行分类管理了
下面我们来创建一个文件夹，hdfs中使用mkdir命令

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -mkdir /test

如果要递归创建多级目录，还需要再指定-p参数

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -mkdir -o /abc/xyz

想要递归显示所有目录的信息，可以在ls后面添加-R参数

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -ls -R /

-rm[-r]: 删除文件/文件夹

如果想要删除hdfs中的目录或者文件，可以使用rm
删除文件

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -rm /README.txt

删除目录，注意，删除目录需要指定-r参数

  1. [root@bigdata01 hadoop-3.3.2]# hdfs dfs -rm -r /abc
标签： hadoop hdfs big data
本文转载自: https://blog.csdn.net/qq_52150032/article/details/124786520
版权归原作者 hhhecker 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Hadoop之hdfs操作”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？