Hadoop集群启动但是没有datanode/namenode的情况

文章目录

前言

Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点：
1.配置文件出错了
2.ssh免密没做好
3.重复初始化
这三个问题应该在之前不断循环往复的出现…
直到这周终于把集群启动起来并且能够正常工作了。

检查配置文件

虽然配置的可能优点问题，但是还是可以参考我们课上讲的配置文件，因为至少可以成功运行：
Hadoop集群配置运行

建议直接复制粘贴配置文件的内容，因为打错了又找不到错误的感觉，真的很难受。

检查ssh免密

ssh免密最好每次启动前都检查一次，因为ip地址极有可能悄悄发生改变
记得ssh自己也得做
记得ssh自己也得做
记得ssh自己也得做
别能ssh别人，ssh自己不了
ssh免密方法可以参考：
Unbuntu使用手机热点创建两台电脑的集群（实现ssh免密通信）
同时，网速也得快点，因为如果延迟很大，就极有可能掉节点，导致问题出现，不过如果节点并不多，网速开百度能秒开，应该问题不是很大。

重复初始化

看网上说，重复初始化导致namenode的id和datanode的id不一致导致了节点的丢失，没事，那咱们就把初始化出来的文件删了，重新初始化就行了。

至于文件的位置，看配置文件里的位置

拿我的配置来说：
core-site.xml中

<configuration><!-- 指定HDFS中NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/bigdata3/hadoopdata1</value></property></configuration>

其中/home/bigdata3/hadoopdata1这个文件就是初始化生成的文件。
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
然后
重新初始化：

hadoop namenode -format

我们会看到这个文件重新生成了，那就是初始化生成的。

切记重新初始化的操作得集群没启动的时候做，如果你的集群已经启动了
就先：

stop-all.sh

把集群先关了再操作

总结

如果上述三条都检查了一遍，然后启动集群

start-all.sh

不出意外应该是能够正常运行的。
我们就是这样，一个坑接着一个坑，先是配置文件没搞好，然后发现ssh免密偶尔失效，最后是确定配置文件没问题，ssh免密刚做好，然后删文件重新初始化，就成功启动了。

可以检查一下节点情况

jps

此时如果可以访问
http://master:8080
http://master:50070
并且能够传文件上去，那应该没什么问题了。
如果上述三条都做了还是不能启动成功，那我也爱莫能助了…