Linux环境下Hadoop3.2.0集群部署

前置环境部署

虚拟机VM16安装-CSDN博客

CentOS安装-CSDN博客

修改VM虚拟机网络-CSDN博客

Hadoop部署前置环境配置-主机名、IP配置-CSDN博客

Linux环境下SSH免密登录设置-CSDN博客

Linux环境下Java JDK环境安装-CSDN博客

Linux环境下Hadoop3.2.0单机部署-CSDN博客

①关闭要被克隆的虚拟机

②找到克隆选项

③欢迎页面点击下一步

④克隆虚拟机，克隆自虚拟机的当前状态后，点击下一步

⑤设置创建完整克隆

⑥设置克隆的虚拟机名称和存储位置

⑦等待正在克隆

⑧点击关闭，完成克隆

​

​

​

​

​

​

​

修改各主机配置文件

Hadoop101服务器上修改

• 修改主机名为hadoop101

切换到root

su root

[root@localhost ~]# vi /etc/hostname

​

​

• 修改IP

su root

[root@localhost ~]# vi /etc/hostname

TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="92080b37-6045-47a2-872c-a832939226f4"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.1.101
GATEWAY=192.168.1.2      
NETMASK=255.255.255.0
DNS1=192.168.1.2

重启系统：

reboot

此处可以使用mobaxterm连接测试

Hadoop102服务器上修改

• 修改主机名为hadoop102

切换到root

su root
vi /etc/hostname

修改IP

[root@hadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

内容如下

TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="92080b37-6045-47a2-872c-a832939226f4"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.1.102
GATEWAY=192.168.1.2
NETMASK=255.255.255.0
DNS1=192.168.1.2

重启系统：

reboot

此处可以使用mobaxterm连接测试

修改配置文件执行集群间拷贝

修改hadoop100上面的workers

vi /usr/local/soft/hadoop-3.2.0/etc/hadoop/workers

添加hadoop101和hadoop102

同步修改后文件到hadoop101和hadoop102上

scp /usr/local/soft/hadoop-3.2.0/etc/hadoop/workers root@hadoop101:/usr/local/soft/hadoop-3.2.0/etc/hadoop/
scp /usr/local/soft/hadoop-3.2.0/etc/hadoop/workers root@hadoop102:/usr/local/soft/hadoop-3.2.0/etc/hadoop/

拷贝完成，检查另两台机器是否执行拷贝成功

集群SSH免密登录配置

.ssh文件夹下（~/.ssh）的文件功能解释

known_hosts

记录ssh访问过计算机的公钥(public key)

id_rsa

生成的私钥

id_rsa.pub

生成的公钥

authorized_keys

存放授权过的无密登录服务器公钥

ssh-copy-id hadoop100
ssh-copy-id hadoop101
ssh-copy-id hadoop102

三个服务器上都用root账户执行上述脚本

格式化系统

将三个服务器上的/data全部删除（如果单机启动过必须执行此步骤，如果单机没有格式化及启动过，此步骤省略），各服务器上执行如下命令：

rm -fr /data

hadoop100服务器上执行：

hdfs namenode  -format

集群启动

定位到路径：

cd /usr/local/soft/hadoop-3.2.0/

执行

./sbin/start-all.sh

从节点生成相关文件

停止：

./sbin/stop-all.sh

集群查看

jps

HDFS Web页面

http://hadoop100:9870/

YARN Web页面

http://hadoop100:8088/

创建test文件夹:

hadoop fs -mkdir /test

附常见问题：FAQ****

1、如果集群正常启动，发现网页中没有子节点：

先关闭集群：

./sbin/st**op-all.sh**

查找主节点version中的集群ID,路径/data/hadoop/hdfs/name/current/

在两个从节点中找到从节点的version,路径：/data/hdfs/data/current/

clusterID从节点需要和主节点保持一致，如果从节点没有current文件夹，再自己检查配置和日志文件里面错误信息

2、启动都成功，网页中没有从节点

检查防火墙是否关闭

3、格式化失败，报权限问题

检查hadoop文件夹所有者是否当前用户，如果不是，执行命令

chown -R root /usr/local/soft/hadoop-3.2.0

4、如果某个端口号不起作用，命令查看端口启动情况

netstat -tlpn

5、整个文件夹拷贝

scp -r /usr/local/soft/hadoop-3.2.0 root@hadoop100:/usr/local/soft/hadoop-3.2.0
scp -r /usr/local/soft/hadoop-3.2.0 root@hadoop100:/usr/local/soft/hadoop-3.2.0