hadoop常用命令

1.历史服务器地址：http://192.168.56.102:19888/jobhistory
注意：JobHistoryServer安装在：hadoop102：192.168.56.102；
2.Web端查看HDFS的NameNode：浏览器中输入：http://192.168.56.102:9870 ；查看HDFS上存储的数据信息
注意：hdfs的NameNode安装在hadoop102上
3.Web端查看YARN的ResourceManager；浏览器中输入：http://192.168.56.103:8088 ；查看YARN上运行的Job信息
注意：yarn安装hadoop103上；
=========================
以下开启集群方式，前提已经配置开启集群启动文件；
4.配置集群启动后，hdfs的NameNode安装在hadoop102上，则在hadoop102开启hdfs，开启集群：/opt/module/hadoop-3.1.3/sbin/start-dfs.sh
注意：在安装路径直接开启：start-dfs.sh 启动器；
关闭则反之：/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh
5.配置集群后，yarn安装hadoop103上，则在hadoop103开启yarn，开启：/opt/module/hadoop-3.1.3/sbin/start-yarn.sh
注意：在安装路径直接开启：start-yarn.sh 启动器；
关闭则反之：/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh
========================================
为了方便写了具体shell脚本 myhadoop.sh，前提此脚本必须已经配置了shh无密登录
6.脚本在/home/atigui/bin下
开启集群：/home/atigui/bin/myhadoop.sh start
关闭集群：/home/atigui/bin/myhadoop.sh stop
7.查看集群运行情况，jpsall 就是脚本：/home/atigui/bin/jpsall
============
上传
8.-moveFromLocal：从本地剪切粘贴到HDFS，命令：hadoop fs -moveFromLocal linux系统本地文件 hdfs文件系统路径
例子：hadoop fs -moveFromLocal ./shuguo.txt /sanguo
9.-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去，命令：hadoop fs -copyFromLocal linux系统本地文件 hdfs文件系统路径
例子：hadoop fs -copyFromLocal ./wuguo.txt /sanguo
10.-put：从本地文件系统中拷贝文件到HDFS路径去，命令：hadoop fs -put linux系统本地文件 hdfs文件系统路径
例子：hadoop fs -put ./wuguo.txt /sanguo
11.-appendToFile：追加一个文件到已经存在的文件末尾，命令：hadoop fs -appendToFile linux系统本地文件 hdfs文件系统文件
例子：hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
=====================
下载
12.-copyToLocal：从hdfs拷贝到本地，命令：hadoop fs -copyToLocal hdfs文件系统路径文件 linux系统本地路径
例子：hadoop fs -copyToLocal /sanguo/shuguo.txt ./
13.-get：从hdfs拷贝到本地，命令：hadoop fs -get hdfs文件系统路径文件 linux系统本地路径
例子：hadoop fs -get /sanguo/shuguo.txt ./
=======================
常规操作命令，基本与linux系统一样；
14.-ls：显示目录信息， 命令：hadoop fs -ls hdfs文件系统目录
例子：hadoop fs -ls /sanguo
15.-cat：显示文件内容，命令：hadoop fs -cat hdfs文件系统文件
例子：hadoop fs -cat /sanguo/shuguo.txt
16.-chmod：修改文件所属权限，命令：hadoop fs -chmod 777 hdfs文件系统文件
例子：hadoop fs -chmod 777 /sanguo/shuguo.txt
18.-mkdir：创建路径，命令：hadoop fs -mkdir hdfs文件新路径
例子：hadoop fs -mkdir /jinguo
19.-cp：从HDFS的一个路径拷贝到HDFS的另一个路径，命令：hadoop fs -cp hdfs文件系统文件 hdfs文件系统路径
例子：hadoop fs -cp /sanguo/shuguo.txt /jinguo
20.-mv：在HDFS目录中移动剪切文件，命令：hadoop fs -cp hdfs文件系统文件 hdfs文件系统路径
例子：hadoop fs -mv /sanguo/wuguo.txt /jinguo
21.-tail：显示一个文件的末尾1kb的数据，命令：hadoop fs -tail hdfs文件系统文件
例子：hadoop fs -tail /jinguo/shuguo.txt
22.-rm -r：递归删除目录及目录里面内容，命令：hadoop fs -rm -r hdfs文件系统文件夹
例子：hadoop fs -rm -r /sanguo
23.-du：统计文件夹的大小信息，命令：hadoop fs -du -h hdfs文件系统文件夹
例子：hadoop fs -du -s -h /jinguo、hadoop fs -du -h /jinguo
24.-setrep：设置HDFS中文件的副本数量，命令：hadoop fs -setrep 10 hdfs文件系统文件
例子：hadoop fs -setrep 10 /jinguo/shuguo.txt

25.参数优先级：参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的自定义配置（xxx-site.xml） >（4）服务器的默认配置（xxx-default.xml）