目录
一、前置说明
这个是我自己电脑的环境,考试会变动
环境表
主机名IP地址masterNode1192.168.5.200slaveNode1192.168.5.201slaveNode2192.168.5.202
简单操作比如解压、配置环境变量等就不写进来了,不会的自行百度
二、Storm相关知识(必看,仅应对考试)
段落节选自Zookeeper+Storm集群搭建 - 简书 (jianshu.com)
三、Storm部署
3.1、Zookeeper集群安装并启动
1+X“大数据平台运维职业技能等级证书(初级)模拟题-Zookeeper集群部署_Quin22的博客-CSDN博客
3.2、解压Storm,并配置conf/storm.yaml
storm.yaml添加红框配置:
这里其实除了supervisor.slots.ports是要自己写的,其他两个在原文件里都有
注意主机名,nimbus.seeds可以只写一个节点,如果题目要求多个主节点就像图中那样写,这里会影响到最后面web的显示效果
supervisor.slots.ports从6700开始写,有几个节点就写多少个端口
3.3、启动storm集群
这里默认大伙都已经配置好storm和环境变量,并且给每个节点都分发了
storm集群启动的命令为
storm [要启动的服务]
这里要启动的服务主要有三个,如果仅用于考证只需要记住下面三个
nimbus:主节点(管理节点)
supervisor:从节点(计算节点、工作节点)
ui:web界面
3.3.1、前台运行
在主节点使用以下命令
注意,这里的主节点只能是storm.yaml里配置项nimbus.seeds里有的节点
storm ui
storm nimbus
在所有从节点使用以下命令
storm supervisor
值得注意的是,你需要根据题目的要求来决定每个节点运行什么服务
比如题目可能会要求你每个节点都作为计算节点,那么你就需要在每个节点都执行一次 storm supervisor
停止服务就直接Ctrl+C就行了
3.3.2、挂载后台运行(这个和前台运行之间选一个,不要两个都做)
storm启动后会像kafka一样占用一个终端窗口,所以可以用nohup将storm启动后的服务挂到后台运行
nohup [命令] >/dev/null 2&1 &
这种办法适用于不能开启多个终端的环境,如果有关闭服务的需求:
首先使用 jobs -l 查看任务进程号
然后使用 kill -9 [进程号] 关闭服务
这里也需要注意,服务进程号是有可能会变动的,所以建议关闭一个进程后用 jobs -l 重新查看进程号
3.4、web查看
登录 [启动了ui服务的节点的ip或主机名]:8080,就可以看到storm的web了
Nimbus Summary底下有几个Hosts取决于storm.yaml里配置项nimbus.seeds有多少台主机,我前面的配置项里有三台,这里也有三台
Cluster Summary 中,有一栏是Supervisors,这里是根据你storm集群里有几个节点开启了supervisor服务决定的,我这里只有两台从节点开启了服务,所以数量是2
在底下的Supervisor Summary底下可以看到开启了supervisor服务的节点
版权归原作者 Quin22 所有, 如有侵权,请联系我们删除。