Hadoop集群搭建

一、下载安装VMware以及下载CentOs7

（一）下载VMware：VMware - Delivering a Digital Foundation For Businesses

1.进入vmware官网，选择右上角的 Resources 。

2.然后滑到最下面，选择 VIEW ALL PRODUCTS A-Z 。

1. 然后滑道最下面，找到 VMware Workstation Pro ，选择 Download Product 。

4.选择自己想要的版本，进行下载并安装（密匙在网上搜，有很多）。

（二）下载CentOS7镜像文件

网址：https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/。

（三）安装CentOs7（最小化安装）

1.内存选2GB。

2.网络适配器选择NAT模式。

3.新CD/DVD(IDE)选择镜像文件所在路径。

4.建好虚拟机后，选择“打开此虚拟机”，等待开机。

5.选择自己想要的语言，然后点继续。

6.点击安装位置。

7.选择第二项：我要配置分区。

8.点击这里自动创建。

9.然后点完成。

10.选择接受更改，然后选择开始安装。

11.点击ROOT密码，进行设置，等待配置完成，最后配置完成选择重启。

12.CentOs7最小化安装成功，关机，克隆两台虚拟机（选择完全克隆），三台虚拟机名称分别为Linux01，Linux02，Linux03。

二、配置IP地址

（一）配置静态IP

1.查看VMware的VMnet8所处的网段（NAT模式），我自己的Vmnet8的子网IP是192.168.152.0，网关是192.168.152.2。

2.打开自己电脑的控制面板，选择网络和Internet，选择更改适配器，将VMnet8的网关设置成和虚拟机的一样。

3.打开虚拟机Linux01，输入用户名和密码后，再输入命令：

vi /etc/sysconfig/network-scripts/ifcfg-ens33，

将 ONBOOT=no 改为 ONBOOT=yes，

将 BOOTPROTO=dhcp 改为 BOOTPROTO=static，

然后在文件末尾依次添加信息：

IPADDR=192.168.152.150

NETMASK=255.255.255.0

GATEWAY=192.168.152.2

DNS1=8.8.8.8

DNS2=114.114.114.114

按 ESC退出编辑模式后输入 :wq! 强制退出并保存。

4.重启网卡，输入命令：service network restart。

5.此时输入命令：ping www.baidu.com或者curl www.baidu.com（抓取百度页面）来验证可以连接上外网。

6.因为是选择的最小化安装，所以需要安装net-tools包才能使用ifconfig命令，否则会出现-bash:ifconfig not found，如图。

7.同样地，输入vim命令也是出现相同的提示，如图。

8.为了方便后面的操作，同时也把vim包安装好，首先输入命令：yum -y install net-tools。

1. 安装net-tool包成功后，显示结果如下图所示。

10.然后输入命令：yum install vim。

11.出现下面这个提示后输入y。

12.安装vim包成功后，显示结果如下图所示。

13.输入命令：ifconfig 查询IP地址。

14.打开虚拟机Linux02和Linux03，重复步骤3～13。

（1）Linux02的IP地址是192.168.152.151。

（2）Linux03的IP地址是192.168.152.152。

三、下载Xshell和Xftp

（一）官网下载网址：http://​ https://www.xshell.com/zh/free-for-home-school/ ​

在官网进行下载，填写姓名和电子邮箱，然后勾选 两者 ，下载链接发到邮箱里。

​​​​​​​

​

​

（二）连接

1.连接Xshell

（1）新建会话，名称填Linux01,主机填Linux01的IP地址，然后选择键盘。

​

（2）两个都选ASCII 127，然后点连接，输入用户名（root）和密码并记住用户名和密码。

​

2.连接Xftp

（1）新建会话，名称填Linux01，主机填Linux01的IP地址，然后输入用户名和密码，最后选择连接。

​

四、在Xshell中进行操作

（一）修改机器名

1.查看第一台虚拟机的主机名，输入命令：hostname。

​

2.修改主机名，输入命令：vim /etc/hostname，

​

3.删除旧主机名，输入新主机名（Linux01），ESC后冒号输入wq!保存并退出。

​

1. 然后输入reboot命令重启。

​

5.重启登录后，主机名变成Linux01。​

6.对第二台和第三台虚拟机进行相同的操作，结果如下。

​

​

（二）关闭防火墙

1.查看Linux01的防火墙状态。

输入命令：systemctl status firewalld.service或者firewall-cmd --state。

​

2.关闭防火墙，输入命令：systemctl stop firewalld.service并再次查看防火墙状态。

​

3.禁⽌防火墙开机启动（永久关闭防火墙），输入命令：systemctl disable firewalld.service。

​

4.打开Linux01，输入命令：vim /etc/selinux/config。

​

1. 将 SELINUX=enforcing 改为：SELINUX=disabled，ESC后冒号输入wq!保存并退出。

​

6.对虚拟机Linux02和虚拟机Linux03重复步骤1～5。

（三）配置三台主机免密登录

1.首先在Linux01上，生成ssh密匙。执行命令：ssh-keygen -t rsa，回车，在接下来的提示中一直回车，不用输入内容。

​

最后出现如下界面：

​

2.输入命令：cd .ssh，然后再输入ls，在家目录下的.ssh目录中出现以下两个密钥文件：

​

3.对Linux02、Linux03重复步骤1～2。
4.在Linux01机器上，将目录切换到.ssh目录下，输入命令：cd ~/.ssh 。

​

5.在.ssh目录下新建文件authorized_keys文件，输入命令：touch authorized_keys。

​

6.将id_rsa.pub文件内容拷贝到authorized_keys文件中，输入命令：cat id_rsa.pub >> authorized_keys，查看authorized_keys文件中的内容，输入命令：cat authorized_keys。

​

7.将Linux01上.ssh目录下的authorized_keys文件发送到Linux02相应的目录下，输入命令：scp authorized_keys 192.168.152.151:$PWD，然后在提示后面输入yes，回车，然后输入密码，回车，完成传输。

​

8.切换到Linux02机器上，进入~/.ssh目录中。

​

9.将Linux02上.ssh目录中id_rsa.pub文件内容拷贝到authorized_keys文件中，输入命令：cat id_rsa.pub >> authorized_keys，然后查看authorized_keys。

​

10.Linux02上.ssh目录中的authorized_keys文件发送到Linux03相应的目录下，输入命令：scp authorized_keys 192.168.152.152:$PWD。在提示中输入yes，回车，然后输入密码，回车，传输完成。

​

11.切换到Linux03机器上，进入~/.ssh目录中，输入命令：cd ~/.ssh。

​

12.将Linux03上.ssh目录中id_rsa.pub文件内容拷贝到authorized_keys文件中，输入命令：cat id_rsa.pub >> authorized_keys，然后查看authorized_keys文件中的内容，输入命令：cat authorized_keys。

​

13.将Linux03上.ssh目录中authorized_keys文件回传给Linux02和Linux01。

（1）回传给Linux02输入命令：scp authorized_keys 192.168.152.151:$PWD。

​

（2)回传给Linux01，输入命令：scp authorized_keys 192.168.152.150:$PWD。

​

14.在Linux01上进行验证，输入命令：ssh 192.168.152.151。

​

（四）建立主机名与IP地址的映射

1.在Linux01上打开/etc/hosts文件，输入命令：vim /etc/hosts。

​

然后在文件中添加：

192.168.152.150 Linux01

192.168.152.151 Linux02

192.168.152.152 Linux03

然后按ESC键，输入 :wq! 保存退出。

​

2.将Linux01上/etc/hosts文件分别分发到Linuxx02，Linux03上。

（1）输入命令scp /etc/hosts 192.168.152.151:/etc/

​ （2）输入命令scp /etc/hosts 192.168.152.152:/etc/。

​

3.在Linux01上分别验证Linux02和Linux03。

（1）输入命令：ping Linux02。

​（2）输入命令：ping Linux03。

​

（五）安装JDK，下载官网：http:// http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1.首先检查系统中是否自带JDK，输入命令：rpm -qa | grep jdk。

​

通过输入命令后的结果可以知道，系统没有自带JDK，可以直接进行接下来的操作。

2.用xftp软件将jdk上传到linux 的用户家目录下。

​

3.在根目录下建服务器软件服务目录，输入命令：mkdir -p /exports/servers。

​

4.将家目录下jdk解压到/exports/servers目录下，输入命令：tar -zxvf jdk-8u341-linux-x64.tar.gz -C /exports/servers。

​

5.查看/exports/servers目录下是否有解压后的文件。

​

6.在Linux02和Linux02上重复步骤1～5。

（六）配置JDK环境变量

1.首先将JDK的根目录复制下来，将目录切换到JDK的根目录下。输入命令：

cd /exports/servers/jdk1.8.0_341/，然后输入命令pwd复制出现的路径。

​

2.打开环境变量配置文件，输入命令：vim /etc/profile。

​

3.在文件末尾添加：

export JAVA_HOME=/exports/servers/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

然后按ESC键输入冒号wq！保存并退出。

​

4.重启配置文件，输入命令：source /etc/profile。

​

5.验证环境变量是否配置成功，输入命令：java -version。

​

6.将Linux01上的/exports目录的内容分别传输到Linux02和Linux03。

(1)输入命令：scp -r /exports Linux02:/。

​ (2)输入命令：scp -r /exports Linux03:/。

7.将Linux01上的/etc/profile环境变量配置文件分别发送到Linux0102和Linux0103上

（1）输入命令：scp /etc/profile Linux02:/etc/。

​（2）输入命令：scp /etc/profile Linux03:/etc/。​8. 在Linux02和Linux02上执行命令source /etc/profile 命令。

​ 9.在Linux02和Linux02上分别验证环境变量是否配置成功。​

（七）安装Hadoop，官网下载地址：https://dlcdn.apache.org/hadoop/common/

1.通过传输软件将hadoop-2.10.2.tar.gz上传到Linux01的root的家目录下。

​2.将hadoop-2.10.2.tar.gz解压到/exports/servers目录下，输入命令：tar -zxvf hadoop-2.10.2.tar.gz -C /exports/servers。​ 3.切换到/exports/servers/hadoop-2.10.2.tar.gz目录下，输入命令：cd /exports/servers/hadoop-2.10.2。

​4.在Hadoop的根目录下新建datas目录，输入命令：mkdir datas。

​

（八）配置Hadoop

1.进入etc/hadoop目录下，输入命令：cd /exports/servers/hadoop-2.10.2 /etc/hadoop/。

​

2.修改hadoop-env.sh文件，输入命令：vim hadoop-env.sh。

​在“# The java implementation to use”下面添上：

export JAVA_HOME=/exports/servers/jdk1.8.0_341

然后ESC键冒号wq!保存并退出。

​

3.修改core-site.xml，输入命令：vim core-site.xml，在标签中加入子标签内容。

​

​

4.修改hdfs-site.xml，输入命令：vim hdfs-site.xml，在标签中加入子标签内容。

​

5.修改mapred-site.xml文件，输入命令：vim mapred-site.xml，在标签中加入子标签内容。

​

6.修改yarn-site.xml，输入命令：vim yarn-site.xml，在标签中加入子标签内容。

​

7.配置workers文件，输入命令：vim workers，删除localhost，在文件中加入CentOne,CentTwo,CentThree。

​

8.将hadoop根目录下的bin中命令加入系统PATH中，输入命令：vim /etc/profile，然后加入：

export HADOOP_HOME=/exports/servers/hadoop-2.10.2

export PATH=$PATH:$HADOOP_HOME/bin。

​

9.让配置立即生效，执行命令：source /etc/profile。

​

（九）验证Hadoop

1.输入命令：hadoop version，出现如下界面，证明hadoop命令的环境变量配置成功。

​

2.将/exports/servers下的hadoop-2.10.2目录中的内容复制到Linux02和Linux03上。

（1）输入命令：scp -r /exports/servers/hadoop-2.10.2/ Lunix02:/exports/servers/。

​

（2）输入命令：scp -r /exports/servers/hadoop-2.10.2/ Linux03:/exports/servers/。

​

3.将Linux01上的/etc/profile文件复制到Linux02和Linux03中。输入命令：scp /etc/profile Linux03:/etc/和scp /etc/profileLinux03:/etc/。

​

4.在Linux02和Linux03上分别执行：source /etc/profile ,让环境变量立即生效。

​

5.启动和验证hadoop集群，在Linux01上输入命令：hadoop namenode -format，出现如下图所示情况，证明hadoop集群格式化成功。如果格式化失败，可以到$HADOOP_HOME/logs目录下查看日志记录，查看具体的异常信息。

​

​

6.在Linux01上启动集群，将目录切换到hadoop的sbin目录下，输入命令：cd /exports/servers/hadoop-2.10.2/sbin/，然后再执行命令：./start-dfs.sh。

​

7.分别在三台机器上执行命令：jps，验证集群是否启动成功，启动成功如下图所示。

​

​

​

8.打开浏览器，在浏览器中输入http://192.168.152.150:50070/，出现如下图所示界面，也说明hadoop集群启动成功。

​