0


Linux中Hadoop的安装与配置

1.首先关闭虚拟机的防火墙:

2.查看防火墙状态:

3.然后修改主机名称,配置hosts:

vi etc/hosts

前面是自己的主机IP地址 后面是想要修改的主机名称

修改完成保存后reboot重启即可修改完成

4.把Hadoop和jdk压缩包传进安装好的虚拟机中对应的文件夹中(我这里用的是xftp)

然后进行解压压缩包

解压格式:(tar -zxvf xxxxxx.tar.gz -C /opt/tools/目录)

都解压完成后进行配置

5.进入根目录 进行配置(vi ~/.bashrc)

配置完成(source ~/.bashrc)

运行查看jdk版本是否安装成功

** 6.然后配置Hadoop的环境(同样在根目录下)**

同样source ~/.bashrc

7.进入要配置信息的目录下:(我这里是cd /opt/tools/hadoop/hadoop-2.7.3/etc/hadoop)

8.配置hadoop-env.sh:

9.配置hdfs-site.xml:

10.配置core-site.xml:

1.首个value值的配置按照主机或ip修改成自己的

2.第二个value先在对应目录下建立tmp文件夹,然后修改配置参数(此处不设置临时目录,重启操作系统会造成文件丢失,namenode无法启动)

3.port默认为8020

先创建一个tmp空文件夹在:

进行配置:

11.配置mapred-site.xml

目录下找不到此文件,先将mapred-site.xml.template复制一份并修改文件名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

12.配置yarn-site.xml:

13. 格式化hdfs

hadoop namenode -format(运行成功会有successful提示)

14. 启动hadoop

start-all.sh(同时启动)

15.jps验证进程(除了jps进程,另外五大进程必须都存在)

注意: 如果缺少节点可能是配置参数代码错误 检查安装目录和配置目录是否一致

标签: hadoop linux 大数据

本文转载自: https://blog.csdn.net/weixin_54354021/article/details/128067485
版权归原作者 不需要講太多、 所有, 如有侵权,请联系我们删除。

“Linux中Hadoop的安装与配置”的评论:

还没有评论