0
0

5. Hadoop集群操作

5. Hadoop集群操作

5.1 启动Hadoop集群

5.1.1 格式化文件系统

如果集群是第一次启动，需要在hadoop102节点格式化NameNode。
注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

[li@hadoop102 ~]$ hdfs namenode -format
# 或者[li@hadoop102 ~]$ hadoop namenode -format

执行上述任意一条命令均可以进行Hadoop集群格式化。执行格式化指令之后，出现： has been successfully formatted.信息，表明HDFS文件系统成功格式化，即可正式启动集群；否则，需要查看命令是否正确，或者安装配置是否正确。

5.1.2 启动Hadoop进程

Hadoop集群的启动，需要启动其内部的两个集群框架，HDFS集群和YARN集群。启动方式有单节点逐个启动和使用脚本一键启动两种。

  1. 启动HDFS
[li@hadoop102 sbin]$ start-dfs.sh
Starting namenodes on [hadoop102]
Starting datanodes
hadoop104: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
hadoop103: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
Starting secondary namenodes [hadoop104]
  1. 启动YARN

在配置了ResourceManager的节点（hadoop103）启动YARN

[li@hadoop103 sbin]$ start-yarn.sh
Starting resourcemanager
Starting nodemanagers

5.2 监控Hadoop集群

Hadoop集群有相关的服务监控端口，方便用户对Hadoop集群的资源、任务运行状态等信息有更直观的了解，具体如下表：
服务Web接口默认端口NameNodehttp://namenode_host:port/9870ResourceManagerhttp://resourcemanager_host:port/8088MapReduce JobHistoryServerhttp://jobhistroyserver_host:port/19888

5.2.1 HDFS监控

Web端查看HDFS的NameNode：
（a）浏览器中输入：http://hadoop102:9870

在这里插入图片描述

  • Overview - 记录了NameNode的启动时间、版本号、编译版本等一些基本信息。
  • Summary - 记录集群信息。- 提供了当前集群环境的一些有用信息，同时还标注了当前集群环境中DataNode的信息，对活动状态的DataNode也专门进行了记录。
  • NameNode Storage - 提供了NameNode的信息，最后的State标示此节点为活动节点，可正常提供服务。

依次选择“Utilities”→“Browse the file system”命令可以查看HDFS上的文件信息。

在这里插入图片描述

（b）查看HDFS上存储的数据信息

在这里插入图片描述
（c）查看Hadoop进程

[li@hadoop102 hadoop-3.1.3]$ jps
2384 NameNode
3153 Jps
2889 NodeManager
2555 DataNode

5.2.2 YARN监控

Web端查看YARN的ResourceManager：
（a）浏览器中输入：http://hadoop103:8088

在这里插入图片描述
（b）查看YARN上运行的Job信息

[li@hadoop103 hadoop-3.1.3]$ jps
3024 Jps
2528 NodeManager
2388 ResourceManager
2184 DataNode

5.2.3 日志监控

Web端查看Hadoop的日志监控界面即JobHistroy：
（a）在浏览器中地址栏中输入http://hadoop102:19888

在这里插入图片描述

5.3 Hadoop集群基本测试

5.3.1 上传文件到集群

  1. 创建input目录，上传小文件
[li@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /input
[li@hadoop102 hadoop-3.1.3]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
2022-08-24 15:09:10,390 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted =false

上传完成后可以在浏览器中查看内容:
在这里插入图片描述

  1. 上传大文件到/目录
[li@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
2022-08-24 15:16:02,641 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted =false2022-08-24 15:16:03,912 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted =false

在这里插入图片描述

5.3.2 查看文件

  1. 查看HDFS文件存储路径
[li@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1775777091-192.168.10.132-1661323073082/current/finalized/subdir0/subdir0

在这里插入图片描述

  1. 查看HDFS在磁盘存储文件内容
[li@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
atguigu
atguigu
  1. 拼接其他两个数据包
[li@hadoop102 subdir0]$ cat blk_1073741826>>tmp.tar.gz
[li@hadoop102 subdir0]$ cat blk_1073741827>>tmp.tar.gz
[li@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz
jdk1.8.0_212/
jdk1.8.0_212/README.html
jdk1.8.0_212/LICENSE
jdk1.8.0_212/include/
jdk1.8.0_212/include/jawt.h
jdk1.8.0_212/include/linux/
jdk1.8.0_212/include/linux/jawt_md.h
jdk1.8.0_212/include/linux/jni_md.h
jdk1.8.0_212/include/classfile_constants.h
jdk1.8.0_212/include/jvmticmlr.h
jdk1.8.0_212/include/jni.h
...

发现文件就是上传的jdk。

5.3.3 下载文件

[li@hadoop102 ~]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./
2022-08-24 15:29:50,243 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted =false

查看文件

[li@hadoop102 ~]$ ll
总用量 190480
drwxrwxr-x. 2 li li      40968月  2316:49 bin
-rw-r--r--. 1 li li 1950131528月  2415:29 jdk-8u212-linux-x64.tar.gz # 下载成功
drwxr-xr-x. 2 li li      40968月  2217:08 公共
drwxr-xr-x. 2 li li      40968月  2217:08 模板
drwxr-xr-x. 2 li li      40968月  2217:08 视频
drwxr-xr-x. 2 li li      40968月  2217:08 图片
drwxr-xr-x. 2 li li      40968月  2217:08 文档
drwxr-xr-x. 2 li li      40968月  2217:08 下载
drwxr-xr-x. 2 li li      40968月  2217:08 音乐
drwxr-xr-x. 2 li li      40968月  2217:08 桌面
  1. 执行wordcount程序
[li@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

5.4 停止Hadoop集群

5.4.1 各模块分开启动/停止

在配置ssh的前提下

  1. 整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh
  1. 整体启动/停止YARN
start-yarn.sh/stop-yarn.sh

5.4.2 各服务组件逐一启动/停止

  1. 分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
  1. 启动/停止YARN
yarn --daemon start/stop  resourcemanager/nodemanager

5.5 Hadoop集群常用脚本

5.5.1 Hadoop集群启停脚本

包含HDFS，Yarn，Historyserver：myhadoop.sh

[li@hadoop102 hadoop-3.1.3]$ cd /home/li/bin
[li@hadoop102 bin]$ vim myhadoop.sh

输入如下内容：

#!/bin/bashif[$# -lt 1]thenecho"No Args Input..."exit;ficase$1in"start")echo" =================== 启动 hadoop集群 ==================="echo" --------------- 启动 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"echo" --------------- 启动 yarn ---------------"ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"echo" --------------- 启动 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver";;"stop")echo" =================== 关闭 hadoop集群 ==================="echo" --------------- 关闭 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"echo" --------------- 关闭 yarn ---------------"ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"echo" --------------- 关闭 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh";;
*)echo"Input Args Error...";;esac

:wq保存退出。
修改脚本执行权限：

[li@hadoop102 bin]$ chmod +x myhadoop.sh

[li@hadoop102 bin]$ myhadoop.sh stop #停止集群

5.5.2 查看进程脚本

查看三台服务器Java进程脚本：jpsall

[li@hadoop102 bin]$ vim jpsall

输入如下内容：

#!/bin/bashforhostin hadoop102 hadoop103 hadoop104
doecho===============$host===============ssh$host jps 
done

:wq保存后退出，然后赋予脚本执行权限

[li@hadoop102 bin]$ chmod +x jpsall

5.5.3 脚本分发

分发/home/li/bin目录，保证自定义脚本在三台机器上都可以使用

[li@hadoop102 bin]$  xsync /home/li/bin/
==================== hadoop102 ====================
sending incremental file list

sent 129 bytes  received 17 bytes  292.00 bytes/sec
total size is 2,007  speedup is 13.75==================== hadoop103 ====================
sending incremental file list
bin/
bin/jpsall
bin/myhadoop.sh

sent 1,490 bytes  received 58 bytes  1,032.00 bytes/sec
total size is 2,007  speedup is 1.30==================== hadoop104 ====================
sending incremental file list
bin/
bin/jpsall
bin/myhadoop.sh

sent 1,490 bytes  received 58 bytes  3,096.00 bytes/sec
total size is 2,007  speedup is 1.30
标签： hadoop hdfs 大数据
本文转载自: https://blog.csdn.net/shield911/article/details/127079666
版权归原作者 Mr李小四 所有， 如有侵权，请联系我们删除。
登录后发布评论

“5. Hadoop集群操作”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

机器人技术在安全领域的重要作用

安全学习记录——网络篇（一）

图腾柱PFC：HP1010为您的电动两轮车之旅提供绿色，高效，安全的动力

单元测试数据库回滚问题

这才是单元测试，之前我们都错了

【C语言基础】：字符函数和字符串函数

ChatGPT-Next-Web SSRF漏洞+XSS漏洞复现(CVE-2023-49785)

文章导航