Hadoop3.1.3完全分布式安装配置

一、安装hadoop

1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下：

2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下：

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

执行结果如下：

3.在/opt/module目录下修改文件夹名称：

mv hadoop-3.1.3/ hadoop

执行结果如下：

4.打开环境变量：

vim /etc/profile

执行结果如下：

5.将光标移至文件底部，按“i”键编辑并作出如下配置：

#hadoop
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.按esc键退出编辑，并输入冒号“：wq” ，回车保存退出：

7.将profile文件重新运行：

source /etc/profile

1. 运行hadoop version检验安装结果：

hadoop version

执行结果如下：

hadoop安装成功！

二、前期准备

1.关闭防火墙：

查看防火墙状态:

systemctl status firewalld.service

关闭防火墙：

systemctl stop firewalld.service

永久关闭防火墙：

systemctl disable firewalld.service

再次查看防火墙状态：

systemctl status firewalld.service

执行结果如下：

2.设置免密登录：

ssh-keygen -t rsa -P ''

ssh-copy-id localhost

ssh localhost

exit

执行结果如下：

3.启用RSA认证：

vim /etc/ssh/sshd_config

添加如下配置：

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

4.虚拟机关机，克隆虚拟机创建bigdata02、bigdata03节点：

同样的方式创建bigdata03节点这里不再进行演示。

5.开机，三个节点修改主机名：

vim /etc/hostname

修改完成后需要重启虚拟机。

6.三个节点设置静态ip（之前博客有发这里不再进行演示）。

7.三个节点设置ip映射：

vim /etc/hosts

在文件底部作出如下配置：

8.三个节点都测试⼀下配置是否成功:

ssh bigdata01

ssh bigdata02

ssh bigdata03

执行结果如下：

准备完毕！

三、配置hadoop完全分布式

1.在/opt/module/hadoop/etc/hadoop/目录下，编辑hadoop-env.sh、yarn-env.sh、mapred-env.sh文件：

vim hadoop-env.sh

vim yarn-env.sh

vim mapred-env.sh

均添加如下配置：

export JAVA_HOME=/opt/module/jdk

2.在/opt/module/hadoop/etc/hadoop/目录下，编辑core-site.xml文件：

vim core-site.xml

在<configuration>下添加如下配置：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop/dfs/tmp/</value>
</property>

3.在/opt/module/hadoop/etc/hadoop/目录下，编辑hdfs-site.xml文件：

vim hdfs-site.xml

在<configuration>下添加如下配置：

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/module/hadoop/dfs/data</value>
</property>

4.在/opt/module/hadoop/etc/hadoop/目录下，编辑yarn-site.xml文件：

vim yarn-site.xml

在<configuration>下添加如下配置：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata01</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

5.在/opt/module/hadoop/etc/hadoop/目录下，编辑mapred-site.xml文件：

vim mapred-site.xml

在<configuration>下添加如下配置：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>

6.在/opt/module/hadoop/etc/hadoop/目录下，编辑works：

vim workers

删除原配置，添加如下配置：

bigdata01
bigdata02
bigdata03

7.在/etc/profile下配置hadoop的HDSF和YARN⽤户：

vim /etc/profile

在文件底部添加如下配置：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

8.source使配置⽂件⽣效：

source /etc/profile

9.将hadoop和将/etc/profile拷⻉到bigdata02和bigdata03：

scp -r /opt/module/hadoop/ @bigdata02:/opt/module/

scp -r /opt/module/hadoop/ @bigdata03:/opt/module/

scp -r /etc/profile @bigdata02:/etc/

scp -r /etc/profile @bigdata03:/etc/

10.格式化namenode：

hdfs namenode -format

执行结果如下：

11.启动hadoop集群：

start-all.sh

执行结果如下：

12.查看jps进程：

jps

bigdata01：

bigdata02：

bigdata03：

hadoop完全分布式配置完毕！