hadoop群起集群并测试

一.群起集群

1.配置workers

            进入目录 cd /opt/module/hadoop-3.1.3/etc/hadoop

                            注意不要加空格！！！

                          ![](https://img-blog.csdnimg.cn/direct/fc195fff7ce6415ca75a245392330448.png)

            分发所有节点配置文件

                    /home/atguigu/bin/xsync workers

2.启动集群

（1）集群初始化

    第一次启动集群需要进行一次初始化。

    需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

      ![](https://img-blog.csdnimg.cn/direct/57b789a1ccd847c39251ebe14ea72a23.png)

（2）启动HDFS（Hadoop102）

                    集群命令位于

                 ![](https://img-blog.csdnimg.cn/direct/d52689203c0d4b32aafe133ee709655c.png)

(3) 检查启动情况（HADOOP）

                    jps检查 

                    hadoop102：​![](https://img-blog.csdnimg.cn/direct/d84568423c6b41a7b37d7d5a48ac8f5c.png)

                    hadoop103：![](https://img-blog.csdnimg.cn/direct/98e2062938114c40a155473a8e32fbaa.png)

                    hadoop104：![](https://img-blog.csdnimg.cn/direct/a2c60bc038034919967e26e33b9e76d1.png)

                    Web端查看HDFS的NameNode

                            （a）浏览器中输入：http://hadoop102:9870

                            （b）查看HDFS上存储的数据信息

（4）启动YARN（Hadoop103）

                    ![](https://img-blog.csdnimg.cn/direct/3dbd7eb182b0454da419180e690c1593.png)  

（5）检查启动情况（YARN）

                    ![](https://img-blog.csdnimg.cn/direct/878a554f2d0645dca02268da5ba36265.png)

                    集群启动完毕！！！

                    

                    Web端查看YARN的ResourceManager

                    （a）浏览器中输入：http://hadoop103:8088

                    （b）查看YARN上运行的Job信息

二.集群测试

1.上传文件到集群

   ![](https://img-blog.csdnimg.cn/direct/3ccad2213bd645e3973a12188e6091e5.png)

                    Namenode在安全模式：

                            检查是否在安全模式  ： hdfs dfsadmin -safemode get

                            如果输出结果为

Safe mode is ON

，则表示NameNode当前处于安全模式。

                            离开安全模式 ：  hdfs dfsadmin -safemode leave

                    小文件：

                            创建文件夹wcinput   

                      ![](https://img-blog.csdnimg.cn/direct/723cbe46c3614d94a919f5918b3f5dd9.png)   

                            ​​​​可在web页面中查看    ![](https://img-blog.csdnimg.cn/direct/bc4890adb9ce4cec8aec9783a00e8e3e.png)

                             把本地文件word.txt传到创建的文件夹中                                       ![](https://img-blog.csdnimg.cn/direct/f98469287a64424b89c3cd35f76fa89b.png)

                            在web页面中查看![](https://img-blog.csdnimg.cn/direct/fd455b087abe4a8dab18ef47b238bfa9.png)

2.文件存放位置

    [atguigu@hadoop102 subdir0]$ pwd

    /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

            在core-site.xml中：

                <property>

                    <name>hadoop.tmp.dir</name>

                    <value>/opt/module/hadoop-3.1.3/data</value>

                </property>

            是作为文件的存储位置

3.执行计算任务

                    wodcount是计算指令，该命令的意思是统计wcinput文件中的词频并将结果存到                     wcouput中。

                    可以查看到历史记录

                    查看结果