每次用到Hadoop集群时NameNode总有各种各样奇奇怪怪的问题启动不了或者hdfs用9870端口访问不了!!!
以前写过一篇Hadoop集群缺少node结点,一下↓ 是对NameNode结点一些常见问题
NameNode启动不了
- 111 配置文件错误
** 不管你的NameNode在哪个主机上,jpsall就是看不到它的进程**
这里用到启动Hadoop集群的脚本:myhadoop.sh start 和查看进程脚本:jpsall (后面会写一篇关于脚本的文章)
先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop(每个人可能路径不同),查看这个目录下的core-site.xml 、 yarn-site.xml 、 hdfs-site.xml 、mapred-site.xml 、 workers
仔细阅读配置文件,字母、括号都不要错过!!!!还有works里面的主机名,还要去确认一遍、/etc/hosts 里面的主机映射对不对(比如主机1:172.168.100 hadoop01 ,如果hosts映射错了咋能启动?) 请仔细阅读配置文件!!!!
- 222 NameNode格式化问题
可能你NameNode起不来,就在网上找教程说格式化,然后格式化一次又一次.....
格式化没有错,但要明白格式化会怎么样
每次格式化以后里面id都会改变,多次操作可能导致NameNode的id的和其他文件里缓存的NameNode的id不一致,就会报错。
解决方法:先把data和logs目录删除,再格式化NameNode之后重启集群
格式化NameNode:
hdfs namenode -format
再重启集群会自动生成新的并且和NameNodeid信息一致的data和logs
tip:是自己的理解,专业名词或者解释有偏差,谅解!
- 333以上都解决不了问题
学会看看log日志,每个人情况不同,其他问题可能别人没遇到,所以,要学会自己解决问题。
运行时的警告和报错都会记录在logs中,去看对应节点的log,
看到爆红的的地方,翻译一下问题什么意思,---->复制问题百度一下
HDFS可视化网页打不开
- 444把linux防火墙关一下
查看防火状态
systemctl status firewalld
service iptables status
关闭防火墙
systemctl stop firewalld.service
关闭开机自启
systemctl disable firewalld.service
- 555查看访问地址
访问是如果用的是主机名比如hadoop01、或者自己的主机名,前提是你的windows有这个主机名映射,就是说你在windows上访问hadoop01:9870....他不知道hadoop01是谁啊
解决方法:把主机名hadoop改成主机号比如172.168...再访问
如果可以访问就在windows中的hosts里添加你的linux主机映射(把hadoop01 172.168....添加进去)
Last but not least
如果看到现在还是解决不了,请重启电脑、重启linux、重启Hadoop集群、并仔细阅读配置文件!bey~
版权归原作者 樱桃气质丸 所有, 如有侵权,请联系我们删除。