0


“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

目录


一、前置说明

这个是我自己电脑的环境,考试会变动

环境表
主机名IP地址masterNode1192.168.5.200slaveNode1192.168.5.201slaveNode2192.168.5.202
简单操作比如解压、配置环境变量等就不写进来了,不会的自行百度

二、Storm相关知识(必看,仅应对考试)

段落节选自Zookeeper+Storm集群搭建 - 简书 (jianshu.com)

167949bdd87b48cf8f1063a354c12eb4.png

三、Storm部署

3.1、Zookeeper集群安装并启动

1+X“大数据平台运维职业技能等级证书(初级)模拟题-Zookeeper集群部署_Quin22的博客-CSDN博客

3.2、解压Storm,并配置conf/storm.yaml

storm.yaml添加红框配置:

这里其实除了supervisor.slots.ports是要自己写的,其他两个在原文件里都有

注意主机名,nimbus.seeds可以只写一个节点,如果题目要求多个主节点就像图中那样写,这里会影响到最后面web的显示效果

supervisor.slots.ports从6700开始写,有几个节点就写多少个端口

3ef963c057044fff83c8a9371d9537f5.png

3.3、启动storm集群

这里默认大伙都已经配置好storm和环境变量,并且给每个节点都分发了

storm集群启动的命令为

storm [要启动的服务]
这里要启动的服务主要有三个,如果仅用于考证只需要记住下面三个
nimbus:主节点(管理节点)
supervisor:从节点(计算节点、工作节点)
ui:web界面

3.3.1、前台运行

在主节点使用以下命令

注意,这里的主节点只能是storm.yaml里配置项nimbus.seeds里有的节点

storm ui
storm nimbus

在所有从节点使用以下命令

storm supervisor

值得注意的是,你需要根据题目的要求来决定每个节点运行什么服务

比如题目可能会要求你每个节点都作为计算节点,那么你就需要在每个节点都执行一次 storm supervisor

停止服务就直接Ctrl+C就行了

3.3.2、挂载后台运行(这个和前台运行之间选一个,不要两个都做)

storm启动后会像kafka一样占用一个终端窗口,所以可以用nohup将storm启动后的服务挂到后台运行

nohup [命令] >/dev/null 2&1 &

34e4f48a09784948b46317f297b5903b.png

这种办法适用于不能开启多个终端的环境,如果有关闭服务的需求:

首先使用 jobs -l 查看任务进程号

3e61dae7b6074f58b5fcac057d1db0c2.png

然后使用 kill -9 [进程号] 关闭服务

e68beab500c74e19b24ace4358fe2796.png

这里也需要注意,服务进程号是有可能会变动的,所以建议关闭一个进程后用 jobs -l 重新查看进程号

3.4、web查看

登录 [启动了ui服务的节点的ip或主机名]:8080,就可以看到storm的web了

Nimbus Summary底下有几个Hosts取决于storm.yaml里配置项nimbus.seeds有多少台主机,我前面的配置项里有三台,这里也有三台

0b320a7dfac7426ab505d51a9e80ff12.png

Cluster Summary 中,有一栏是Supervisors,这里是根据你storm集群里有几个节点开启了supervisor服务决定的,我这里只有两台从节点开启了服务,所以数量是2

在底下的Supervisor Summary底下可以看到开启了supervisor服务的节点

61a702a2c9e7445fbcb0d57a7078584c.png

标签: 大数据 storm linux

本文转载自: https://blog.csdn.net/Quin22/article/details/130366241
版权归原作者 Quin22 所有, 如有侵权,请联系我们删除。

““1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署”的评论:

还没有评论