0


Hadoop集群启动但是没有datanode/namenode的情况

文章目录

前言

Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群,一开始是主节点没启动起来,因为配置文件看走眼,配错了,然后又重新初始化了一次,然后可能因为重复初始化,导致datanode又没了,然后一直在尝试,一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点:
1.配置文件出错了
2.ssh免密没做好
3.重复初始化
这三个问题应该在之前不断循环往复的出现…
直到这周终于把集群启动起来并且能够正常工作了。

检查配置文件

虽然配置的可能优点问题,但是还是可以参考我们课上讲的配置文件,因为至少可以成功运行:
Hadoop集群配置运行

建议直接复制粘贴配置文件的内容,因为打错了又找不到错误的感觉,真的很难受。

检查ssh免密

ssh免密最好每次启动前都检查一次,因为ip地址极有可能悄悄发生改变
记得ssh自己也得做
记得ssh自己也得做
记得ssh自己也得做
别能ssh别人,ssh自己不了
ssh免密方法可以参考:
Unbuntu使用手机热点创建两台电脑的集群(实现ssh免密通信)
同时,网速也得快点,因为如果延迟很大,就极有可能掉节点,导致问题出现,不过如果节点并不多,网速开百度能秒开,应该问题不是很大。

重复初始化

看网上说,重复初始化导致namenode的id和datanode的id不一致导致了节点的丢失,没事,那咱们就把初始化出来的文件删了,重新初始化就行了。

至于文件的位置,看配置文件里的位置

拿我的配置来说:
core-site.xml中

<configuration><!-- 指定HDFS中NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/bigdata3/hadoopdata1</value></property></configuration>

其中/home/bigdata3/hadoopdata1这个文件就是初始化生成的文件。
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
然后
重新初始化:

hadoop namenode -format

我们会看到这个文件重新生成了,那就是初始化生成的。

切记重新初始化的操作得集群没启动的时候做,如果你的集群已经启动了
就先:

stop-all.sh

把集群先关了再操作

总结

如果上述三条都检查了一遍,然后启动集群

start-all.sh

不出意外应该是能够正常运行的。
我们就是这样,一个坑接着一个坑,先是配置文件没搞好,然后发现ssh免密偶尔失效,最后是确定配置文件没问题,ssh免密刚做好,然后删文件重新初始化,就成功启动了。

可以检查一下节点情况

jps

此时如果可以访问
http://master:8080
http://master:50070
并且能够传文件上去,那应该没什么问题了。
如果上述三条都做了还是不能启动成功,那我也爱莫能助了…

标签: hadoop 大数据 hdfs

本文转载自: https://blog.csdn.net/qq_52785473/article/details/128051127
版权归原作者 Icy Hunter 所有, 如有侵权,请联系我们删除。

“Hadoop集群启动但是没有datanode/namenode的情况”的评论:

还没有评论