Hadoop分布式搭建

Hadoop分布式搭建(一)

1.Hadoop官网下载3.1.2

网址 http://hadoop.apache.org/
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/

2.准备三台机器(本教程使用的虚拟机)

centos 7 安装教程可以看我的这篇
https://redis.blog.csdn.net/article/details/113755340

ssh免密登陆配置

略

3.安装JDK1.8

略

4.安装hadoop-3.1.2.tar.gz

把下载的 hadoop-3.1.2.tar.gz 传到服务器，我使用的工具是SecureCRT

解压：
解压时间大约半分钟

tar -zxvf hadoop-3.1.2.tar.gz

移动到 opt 目录
/usr：系统级的目录，可以理解为C:/Windows/，/usr/lib理解为C:/Windows/System32。
/usr/local：用户级的程序目录，可以理解为C:/Progrem Files/
/opt：用户级的程序目录，可以理解为D:/Software

mv hadoop-3.1.2 /opt/

5.配置环境

cd opt/hadoop-3.1.2/etc/hadoop/

vi hadoop-env.sh

直接在文件的最后添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export HADOOP_HOME=/opt/hadoop-3.1.2
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HADOOP_PID_DIR=${HADOOP_HOME}/pid

6.修改配置文件

• 1.修改core-site.xml

vi core-site.xml

增加

<property>
<name>fs.defaultFS</name>
<value>hdfs://10.1.1.30:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/full</value>
</property>

• 2.修改hdfs-site.xml

vi hdfs-site.xml

增加

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>10.1.1.175:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>10.1.1.175:50091</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

• 3.修改workers

vi workers

删掉localhost增加 三台主机ip

10.1.1.30
10.1.1.175
10.1.1.117

7 配置好的软件分发到其他主机

• 分发主机：10.1.1.175

scp -r hadoop-3.1.2 [email protected]:/opt

• 分发主机：10.1.1.117

scp -r hadoop-3.1.2 [email protected]:/opt

8 修改环境变量

• 修改配置文件 配置文件增加

vi /etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

• 配置分发到其他主机

分发主机：10.1.1.175

scp /etc/profile [email protected]:/etc/profile

分发主机：10.1.1.117

scp /etc/profile [email protected]:/etc/profile

• 重新加载三台服务器的环境变量 每台机器分别执行下面命令

source /etc/profile

8.格式化NameNode

执行命令

hdfs namenode -format

启动 dfs 执行命令

start-dfs.sh

补充其他命令

# 关闭
stop-dfs.sh

9.测试集群

• http://10.1.1.30:9870

关闭集群

stop-dfs.sh