Hadoop集群部署（完全分布式模式、hadoop2.7.3+安装包）

本文是以root身份来控制集群启停的，后面会出一篇以hadoop用户来控制集群启停博客。

hadoop2.7.3.tar.gz 安装包提取

链接：https://pan.baidu.com/s/1W3TidAVddQZ4n5Lm2NJB_Q
提取码：ay17

一、上传、解压&配置

（一）上传

1.上传hadoop安装包到hp1节点中

（二）解压

1.解压缩安装包到/export/server/中

tar -zxvf hadoop-2.7.3.tar.gz -C /export/server/

2.将 hadoop-2.7.3 改名为hadoop

首先进入相应目录

然后将 hadoop-2.7.3 改名为hadoop，命令为

mv hadoop-2.7.3 hadoop

（三）配置hadoop系统环境变量

1.配置hadoop环境变量

vi /etc/profile

在里面添加如下内容：

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.让环境变量生效

为了让系统变量文件中添加的内容生效，执行 “ source /etc/profile ”命令初始化系统环境变量，使添加的hadoop系统环境变量生效。

3.验证hadoop系统环境变量

在虚拟机hp1任意目录执行 “ hadoop version ” 命令，查看当前虚拟机中hadoop的版本号

二、修改配置文件

（一）前置介绍

配置HDFS集群，我们主要涉及到如下文件的修改：

hadoop-env.sh

配置Hadoop运行所需的环境变量

yarn-env.sh

配置YARN运行所需的环境变量

core-site.xml

Hadoop核心全局配置文件

hdfs-site.xml

HDFS核心配置文件

mapred-site.xml

MapReduce核心配置文件

yarn-site.xml

YARN核心配置文件
slaves
配置从节点（DataNode）有哪些

这些文件均存在于 $HADOOP_HOME/etc/hadoop文件夹中

PS: $HADOOP_HOME是后续我们要设置的环境变量，其指代Hadoop安装文件夹即 /export/server/hadoop

修改文件之间需要进入到对应目录

（二）更改配置文件

1.配置Hadoop集群主机点

vim hadoop-env.sh

找到JAVA_HOME参数位置，进入如下修改（注意JDK路径）

上述配置文件中设置的是Hadoop运行时需要的JDK环境变量，目的是让Hadoop启动时能够执行守护进程。

2.修改core-site.xml文件

vim core-site.xml

该文件是Hadoop的核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。打开配置文件后，在<configuration></configuration>之间添加如下内容

<property> <name>fs.defaultFS</name> <value>hdfs://hp1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/server/hadoop/tmp</value> </property>

上述核心配置文件中，配置了HDFS的主进程NameNode运行主机（也就是此次Hadoop集群的主节点位置），同时配置了Hadoop运行时生成数据的临时目录。

3.修改hdfs-site.xml文件

vim hdfs-site.xml

该文件用于设置HDFS的NameNode和DataNode两大进程。打开该配置文件，在<configuration></configuration>之间添加如下内容

<property>
     <name>dfs.replication</name>
     <value>3</value>
 </property>

<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hp2:50090</value>
 </property>

在上述配置文件中，配置了HDFS数据块的副本数量（默认值就是3），并根据需要设置了Secondary NameNode所在服务的HTTP协议地址。

4.修改mapred-site.xml文件

该文件是MapReduce的核心配置文件，用于指定MapReduce运行时框架。因为hadoop版本不同，有些版本里面在/etc/hadoop/目录中默认没有该文件，需要先通过 “ cp mapred-site.xml.template mapred-site.xml " 命令将文件复制并重命名为 “ mapred-site.xml "。接着，打开mapred-site.xml文件进行修改：

vim mapred-site.xml

在<configuration></configuration>之间添加如下内容

  <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
   </property>

5.修改yarn-site.文件

vim yarn-site.xml

本文件是YARN框架的核心配置文件，需要指定YARN集群的管理者。

在<configuration></configuration>之间添加如下内容

  <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>hp1</value>
   </property>

  <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
   </property>