hadoop的安装与配置

主机：master（192.168.10.3）
从机：slave0（192.168.10.4）
从机：slave1（192.168.10.5）

一、下载Hadoop安装包

Hadoop官网：http://hadoop.apache.org/

二、解压Hadoop安装包（只在master做）

1.上传解压hadoop

确保network网络已经配置好，使用Xftp等类似工具进行上传，把hadoop-2.7.5.tar.gz上传到/opt/hadoop目录内。
上传完成后，在master主机上执行以下代码：

[root@master ~]#** tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/ **

[root@master ~]# ll /usr/local/src/

总用量 0

drwxr-xr-x. 9 10021 10021 149 6月 29 2015 hadoop-2.7.1

drwxr-xr-x. 8 10 143 255 9月 14 2017 jdk1.8.0_152

查看 Hadoop 目录,得知 Hadoop 目录内容如下:
[root@master ~]# ll /usr/local/src/hadoop-2.7.1/

总用量 28

drwxr-xr-x. 2 10021 10021 194 6月 29 2015 bin

drwxr-xr-x. 3 10021 10021 20 6月 29 2015 etc

drwxr-xr-x. 2 10021 10021 106 6月 29 2015 include

drwxr-xr-x. 3 10021 10021 20 6月 29 2015 lib

drwxr-xr-x. 2 10021 10021 239 6月 29 2015 libexec

-rw-r--r--. 1 10021 10021 15429 6月 29 2015 LICENSE.txt

-rw-r--r--. 1 10021 10021 101 6月 29 2015 NOTICE.txt

-rw-r--r--. 1 10021 10021 1366 6月 29 2015 README.txt

drwxr-xr-x. 2 10021 10021 4096 6月 29 2015 sbin

drwxr-xr-x. 4 10021 10021 31 6月 29 2015 share

解析：

bin：此目录中存放 Hadoop、HDFS、YARN 和 MapReduce 运行程序和管理软件。

etc：存放 Hadoop 配置文件。

include: 类似 C 语言的头文件

lib：本地库文件，支持对数据进行压缩和解压。

libexe：同 lib

sbin：Hadoop 集群启动、停止命令
share：说明文档、案例和依赖 jar 包。

修改/etc/profile 文件。

[root@master ~]#** vi /etc/profile**

在文件的最后增加如下两行：

**export HADOOP_HOME=/usr/local/src/hadoop-2.7.1 **

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行 source 使用设置生效：
[root@master ~]#** source /etc/profile**

检查设置是否生效：
[root@master ~]#** hadoop**

Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]

CLASSNAME run the class named CLASSNAME

or

where COMMAND is one of:

fs run a generic filesystem user client

version print the version

jar <jar> run a jar file

                   note: please use "yarn jar" to launch

                         YARN applications, not this command.

checknative [-a|-h] check native hadoop and compression libraries availability

distcp <srcurl> <desturl> copy file or directories recursively

archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive

classpath prints the class path needed to get the

credential interact with credential providers

                   Hadoop jar and the required libraries

daemonlog get/set the log level for each daemon

trace view and modify Hadoop tracing settings

Most commands print help when invoked w/o parameters.

[root@master ~]#

出现上述 Hadoop 帮助信息就说明 Hadoop 已经安装好了

2.修改目录所有者和所有者组

上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够

运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。

[root@master ~]# chown -R hadoop:hadoop /usr/local/src/

[root@master ~]#** ll /usr/local/src/**

总用量 0

drwxr-xr-x. 9 hadoop hadoop 149 6月 29 2015 hadoop-2.7.1

drwxr-xr-x. 8 hadoop hadoop 255 9月 14 2017 jdk1.8.0_152

/usr/local/src 目录的所有者已经改为 hadoop 了。

三、安装** JDK **

Hadoop 2.7.1 要求 JDK 的版本为 1.7 以上，这里安装的是 JDK1.8 版（即JAVA 8）。

安装命令如下，将安装包解压到/usr/local/src 目录下，注意/opt/software目录下的软件包事先准备好。
[root@master ~]# tar -zxvf /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

[root@master ~]# ls /usr/local/src/

jdk1.8.0_152

1.4.2.4. 步骤四：设置 JAVA环境变量

在 Linux 中设置环境变量的方法比较多，较常见的有两种：一是配置

/etc/profile 文件，配置结果对整个系统有效，系统所有用户都可以使用；二是配置~/.bashrc 文件，配置结果仅对当前用户有效。这里使用第一种方法。

[root@master ~]# vi /etc/profile

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效：
[root@master ~]# source /etc/profile

检查 JAVA 是否可用。
[root@master ~]# echo $JAVA_HOME

/usr/local/src/jdk1.8.0_152

[root@master ~]# java -version

java version "1.8.0_152"

Java(TM) SE Runtime Environment (build 1.8.0_152-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

能够正常显示 Java 版本则说明 JDK 安装并配置成功。

三、配置核心组件文件（只在master做）

Hadoop的核心组件文件是core-site.xml，位于/opt/hadoop/hadoop/etc/hadoop子目录下，用vi编辑core-site.xml文件，需要将下面的配置代码放在文件的<configuration>和</configuration>之间。

执行编辑core-site.xml文件的命令：

vi /opt/hadoop/hadoop/etc/hadoop/core-site.xml

需要在<configuration>和</configuration>之间加入的代码：

<property> <name>dfs.replication</name> <value>1</value> </property>

编辑完成后，退出保存即可！

四、配置 yarn-site.xml 文件（只在master做）

Yarn的站点配置文件是yarn-site.xml，位于/opt/hadoop/hadoop/etc/hadoop子目录下，依然用vi编辑该文件，将以下代码放在文件的<configuration>和</configuration>之间。

执行编辑yarn-site.xml文件的命令：

vi /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

需要在<configuration>和</configuration>之间加入的代码：

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property>

五、配置MapReduce计算框架文件（只在master做）

在/opt/hadoop/hadoop/etc/hadoop子目录下，系统已经有一个mapred-site.xml.template文件，我们需要将其复制并改名，位置不变。

执行复制和改名操作命令：

cp /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

然后用vi编辑mapred-site.xml文件，需要将下面的代码填充到文件的<configuration>和</configuration>之间。

执行命令：

vi /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

需要在<configuration>和</configuration>之间加入的代码：

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

编辑完毕，保存退出即可！

六、配置master的slaves文件（只在master做）

slaves文件给出了Hadoop集群的slave节点列表，该文件十分的重要，因为启动Hadoop的时候，系统总是根据当前slaves文件中的slave节点名称列表启动集群，不在列表中的slave节点便不会被视为计算节点。

执行编辑slaves文件命令：

vi /opt/hadoop/hadoop/etc/hadoop/slaves

注意：用vi编辑slaves文件，应该根据读者您自己所搭建集群的实际情况进行编辑。
例如：我这里已经安装了slave0和slave1，并且计划将它们全部投入Hadoop集群运行。

所以应当加入以下代码：

slave0
slave1

注意：删除slaves文件中原来localhost那一行！

复制master上的Hadoop到slave节点（只在master做）
通过复制master节点上的hadoop，能够大大提高系统部署效率，假设我们有200台需要配置…笔者岂不白头

由于我这里有slave0和slave1，所以复制两次。

复制命令：

scp -r /opt/hadoop root@slave0:/opt
scp -r /opt/hadoop root@slave1:/opt

七、Hadoop集群的启动-配置操作系统环境变量（三个节点都做）

回到用户目录命令：

cd /opt/hadoop

然后用vi编辑.bash_profile文件，命令：

vi ~/.bash_profile

最后把以下代码追加到文件的尾部

#HADOOP
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出后，执行命令：

source ~/.bash_profile

source ~/.bash_profile命令是使上述配置生效

提示：在slave0和slave1使用上述相同的配置方法，进行三个节点全部配置。

1、创建Hadoop数据目录（只在master做）

创建数据目录，命令是：

mkdir /opt/hadoop/hadoopdata

2、格式化文件系统（只在master做）

执行格式化文件系统命令：

hadoop namenode -format

3、启动和关闭Hadoop集群（只在master做）

首先进入安装主目录，命令是：

cd /opt/hadoop/hadoop/sbin

然后启动，命令是：

start-all.sh

下次启动Hadoop时，无须NameNode的初始化，只需要使用start-dfs.sh命令即可，然后接着使用start-yarn.sh启动Yarn。

实际上，Hadoop建议放弃（deprecated）使用start-all.sh和stop-all.sh一类的命令，而改用start-dfs.sh和start-yarn.sh命令。

八、验证Hadoop集群是否启动成功

可以在终端执行jps命令查看Hadoop是否启动成功。

在master节点，执行：

jps

如果成功显示：NodeManager、Jps 和 DataNode，这三个进程，则表明从节点（slave0和slave1）启动成功