Hadoop详细集群搭建

Hadoop详细安装

环境：在虚拟机上，或者租一个服务器（用学生证可以认证白嫖喔，阿里云服务器等）
本机使用工具：VMware® Workstation 16 Pro、MobaXterm_Personal_10.5

1.Linux搭建集群（三台服务器）

需注意：个人电脑内存4G的只能搭建一台、8G或16G及以上的可以搭建两台及两台以上

1.1新建虚拟机

在这里插入图片描述

1.2克隆两台虚拟机

在这里插入图片描述

1.3网卡配置

1.3.1第一台hadoop001 （192.168.20.111）

先只启动hadoop001

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

按Esc后输入":wq"，保存退出

在这里插入图片描述
接下来配置另外两台的网卡，记住一定要关闭第一台的！！！，然后再开始相同步骤配置第二台的，然后关闭第二台后再继续配第三台！！！否则没配好静态IP之前会IP地址会变动

1.3.2第二台hadoop002 （192.168.20.112）

在这里插入图片描述

1.3.3第三台hadoop003（192.168.20.113）

在这里插入图片描述

1.4将三台虚拟机连接到MobaXtem

1.4.1记住刚刚的三台虚拟机的网关（IP）

hadoop001 ------------192.168.20.111
hadoop002 ------------192.168.20.112
hadoop003 ------------192.168.20.113
在这里插入图片描述

1.4.2接下来改主机名便于操作：

[root@localhost ~]# hostnamectl set-hostname 新主机名

第二台第三台同理

在这里插入图片描述

1.4.3关闭防火墙

在这里插入图片描述

1.5部署Hadoop

环境准备：
上传HADOOP安装包
规划安装目录 /usr/local/hadoop-2.7.3
解压安装包
修改配置文件 /usr/local/hadoop-2.7.3/etc/hadoop/
最简化配置如下：

在这里插入图片描述

1.5.1上传HADOOP安装包

若需安装包可去我主页另一个破解软件专栏里有白嫖资源

在这里插入图片描述

1.5.2安装JDK

tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/

注意这里的“-C”C是大写的
在这里插入图片描述

1.5.3配置JDK环境变量

vi /etc/profile

在这里插入图片描述

source /etc/profile

在这里插入图片描述

1.5.4配置Hadoop环境变量

vi /etc/profile

在这里插入图片描述

source /etc/profile

在这里插入图片描述

1.5.5安装Hadoop

tar -zxvf /root/hadoop-2.7.3.tar.gz -C /usr/local/

修改配置文件(进入Hadoop的目录）

cd /usr/local/hadoop-2.7.3/etc/hadoop/

在这里插入图片描述

1.5.6修改配置文件 /usr/local/hadoop-2.7.3/etc/hadoop/

1.5.6.1==vi hadoop-env.sh

vi hadoop-env.sh
The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_102

在这里插入图片描述

1.5.6.2==vi core-site.xml

//##Namenode在哪里，临时文件存储在哪里

fs.defaultFS
hdfs://hadoop001:9000

hadoop.tmp.dir
/usr/local/hadoop-2.7.3/tmp

在这里插入图片描述

1.5.6.3==vi hdfs-site.xml

dfs.secondary.http.address dfs.namenode.name.dir /usr/local/hadoop-2.7.3/data/name dfs.datanode.data.dir /usr/local/hadoop-2.7.3/data/data dfs.replication 3 hadoop001:50090

在这里插入图片描述

1.5.6.4==Mv mapred-site.xml.tmp* mapred-site.xml vi mapred-site.xml

mapreduce.framework.name yarn

在这里插入图片描述

1.5.6.5==vi yarn-site.xml

yarn.resourcemanager.hostname hadoop001 yarn.nodemanager.aux-services mapreduce_shuffle

在这里插入图片描述

1.5.6.6==vi slaves

hadoop002
hadoop003

在这里插入图片描述

1.5.6.7总结

在这里插入图片描述
输入时注意别把也输入错误，注意格式

1.5.7修改host映射

需要使用主机名传递，需要修改host映射

vi /etc/hosts
192.168.20.111 hadoop001
192.168.20.112 hadoop002
192.168.20.113 hadoop003

在这里插入图片描述

1.5.8 设置免密登录SSH

安装免密登录客户端：yum install -y openssh-clients
生成公钥跟私钥：ssh-keygen
发送公钥跟私钥：ssh-copy-id spark01
注意：不紧要给别人发，也给自己发一份

在这里插入图片描述

如果配置免密时遇到问题可参考这篇文章：

https://blog.csdn.net/oba_gaga/article/details/80684059?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_paycolumn_v3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_paycolumn_v3&utm_relevant_index=2