云服务器3——安装及配置Hadoop

安装Hadoop

1、执行以下命令，下载Hadoop安装包。

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz

2、执行以下命令，将Hadoop安装包解压至

/opt/hadoop

。

sudo tar -zxvf hadoop-3.2.4.tar.gz -C /opt/
sudo mv /opt/hadoop-3.2.4 /opt/hadoop

3、执行以下命令，配置Hadoop环境变量。

sudo sh -c "echo 'export HADOOP_HOME=/opt/hadoop' >> /etc/profile"
sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/bin' >> /etc/profile"
sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/sbin' >> /etc/profile"
source /etc/profile

4、执行以下命令，修改配置文件

yarn-env.sh

和

hadoop-env.sh

。

sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh'
sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh'

5、执行以下命令，测试Hadoop是否安装成功。

hadoop version

配置Hadoop

1、修改Hadoop配置文件

core-site.xml

。

• 执行以下命令，进入编辑页面。

sudo vim /opt/hadoop/etc/hadoop/core-site.xml

• 输入i，进入编辑模式。
• 在<configuration></configuration>节点内，插入如下内容。

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

• 按Esc，退出编辑模式，并输入:wq保存并退出。

2、修改Hadoop配置文件

hdfs-site.xml

。

• 执行以下命令，进入编辑页面。

sudo vim /opt/hadoop/etc/hadoop/hdfs-site.xml

• 输入i，进入编辑模式。
• 在<configuration></configuration>节点内，插入如下内容。

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

• 按Esc，退出编辑模式，并输入:wq后保存并退出。

启动Hadoop

1、执行以下命令，初始化

namenode

。

hadoop namenode -format

2、启动Hadoop。

这个脚本会启动NameNode、SecondaryNameNode和DataNode等组件，从而启动HDFS服务。

start-dfs.sh

回显信息如下所示时，表示HDFS服务已启动。

3、执行以下命令，启动YARN服务。

这个脚本会启动ResourceManager、NodeManager和ApplicationHistoryServer等组件，从而启动YARN服务。

start-yarn.sh

回显信息如下所示时，表示YARN服务已启动。

4、执行以下命令，可以查看成功启动的进程。

jps

成功启动的进程如下所示。

5、在本地浏览器地址栏输入 http://IP地址:8088 ，访问YARN的Web UI界面。

通过该界面可以查看整个集群的资源使用情况、应用程序状态（比如MapReduce作业）、队列信息等。

重要

需确保在ECS实例所在安全组的入方向中放行Hadoop YARN所需的8088端口，否则无法访问。

6、在本地浏览器地址栏输入 http://IP地址:9870 ，访问NameNode的Web UI界面。

该界面提供了有关HDFS文件系统状态、集群健康状况、活动节点列表、NameNode日志等信息。

显示如下界面，则表示Hadoop分布式环境已搭建完成。

7、关闭hadoop

stop-all.sh