搭建Hadoop的伪分布式

1、提前准备 --- jdk8、hadoop3.1.3

 创建目录：/home/software

一、配置jdk

1、上传jdk

    将jdk压缩包拖拽到software

2、tar zxvf 压缩包的名称 -- 解压

3、配置系统环境变量

    vim /etc/profile

    在末尾添加

     ![](https://img-blog.csdnimg.cn/26278502f03a422cb6520c60e1d223c7.png)

    source /etc/profile -- 使环境变量生效

    java -version -- 查看Java版本

二、配置Hadoop

1、关闭防火墙

    [root@localhost software]# systemctl stop firewalld -- 一次生效（下次服务重启就会打开）

    [root@localhost software]# systemctl disable firewalld -- 永久生效

2、配置主机名

    vim /etc/hostname -- 配置自己的主机名

3、配置主机名和虚拟机ip的映射

    vim /etc/hosts

    配置 192.168.195.100 hadoop01

    注意：写自己的IP以及主机名

4、关闭SELINUX

    vim /etc/selinux/config

    将enforcing改为disabled

    ![](https://img-blog.csdnimg.cn/924be7c7bb7e45388592c8e2ba3dd0cc.png)

5、重启 -- reboot（必须重启）

6、配置免密登录

    ssh-keygen -- 生成密钥 回车四次 出现图片

    ![](https://img-blog.csdnimg.cn/c2fff450b8354a698ffcba2fcafbb437.png)

ssh-copy-id root@hadoop01 -- 把生成的密钥发送给自己的主机（因为只有一个主机）

ssh hadoop01 -- 免密登录主机 如果不需要输入密码说明免密配置成功

logout -- 退出登录

7、上传和解压Hadoop

    tar zxvf hadoop3.1.3

8、进入到hadoop配置文件的位置

    cd hadoop3.1.3/etc/hadoop

9、配置Hadoop的环境(依赖java)

第一个配置文件：

    vim hadoop-env.sh

    ![](https://img-blog.csdnimg.cn/7e552e6ed9434be390fca82aa2126a93.png)

    source hadoop-env.sh -- 让环境生效

第二个配置文件：

    vim core-site.xml

    元数据默认存放在hadoop-3.1.3/tmp

    ![](https://img-blog.csdnimg.cn/2f23f487bf5f462fbad1bd9d32f654f7.png)

第三个配置文件：

    vim hdfs-site.xml

    ![](https://img-blog.csdnimg.cn/1fde75263fd84347bb2a13ccf5e5f32e.png)

第四个配置文件：

    vim mapred-site.xml

    ![](https://img-blog.csdnimg.cn/3354e9f24c0c43c88fa75d271f6e716a.png)

第五个配置文件：

    vim yarn-site.xml

    ![](https://img-blog.csdnimg.cn/14905a91ef134a6b9a3f71f1779710ee.png)

第六个配置文件：

    vim workers -- 注意hadoop2.x版本是配置slaves

    配置主机名 hadoop01

第七个配置文件：

    配置系统环境变量(可以让Hadoop指令任意位置生效)

    vim /etc/profile

source /etc/profile -- 让文件生效

10、格式化namenode(检测之前的配置是否正确)

    hadoop namenode -format

11、进入hadoop安装目录的子目录sbin下（启动和关闭服务的命令）

    cd /home/software/hadoop3.1.3/sbin

12、编辑启动命令

    vim start-dfs.sh(开启hdfs的服务)

    在文件头部添加：

    HDFS_DATANODE_USER=root

    HDFS_DATANODE_SERCURE_USER=hdfs

    HDFS_NAMENODE_USER=root

    HDFS_SECONDARYNAMENODE_USER=root

    启动HDFS服务

    start-dfs.sh

    通过jps命令查看进程 会出现三个进程说明启动成功

    ![](https://img-blog.csdnimg.cn/589b018110484f98b5773e23d60e2326.png)

    vim start-yarn.sh

    在文件头部添加：

    YARN_RESOURCEMANAGER_USER=root

    HDFS_DATANODE_SECURE_USER=hdfs

    YARN_NODEMANAGER_USER=root

    启动YARN服务（包含MapReduce）

    start-yarn.sh

    通过jps查看进程 会发现多出两个进程

    ![](https://img-blog.csdnimg.cn/c571f23709314966a7ada3b48b175cb3.png)

13、配置关闭命令

    vim stop-dfs.sh

    在文件的头部添加

    HDFS_DATANODE_USER=root

    HDFS_DATANODE_SERCURE_USER=hdfs

    HDFS_NAMENODE_USER=root

    HDFS_SECONDARYNAMENODE_USER=root

    vim stop-yarn.sh

    在文件的头部添加

    YARN_RESOURCEMANAGER_USER=root

    HDFS_DATANODE_SECURE_USER=hdfs

    YARN_NODEMANAGER_USER=root