0
0

HDFS完全分布式集群搭建与配置及常见问题总结(有手就行)

HDFS完全分布式集群搭建详细步骤：

一 步骤框架

  1. 前期准备工作(准备3台虚拟机)

      ----将默认主机名(hostname)修改为node01、node02、node03。

  ----修改每台机器/etc/hosts文件

    1. 配置环境工作

      ----分别修改Hadoop-env.sh和yarn-env.sh

      ----修改核心配置文件core-site.xml

      ----修改核心配置文件hdfs-site.xml

      ----修改核心配置文件yarn-site.xml

      ----修改核心配置文件mapred-site.xml

      ----修改配置文件slaves文件

注：这四个配置文件都存放在/opt/software/hadoop/hadoop-2.9.2这个路径下，我们需要在这个路径下去修改这些配置文件。Hadoop的安装版本是Hadoop-2.9.2

二 详细配置过程(傻瓜式配置过程)

  1.检查当前环境

     ----网络配置

     ----主机名配置

     ----主机名映射

     ----防火墙与selinux的关闭

     ----ssh免密

     ----JDK的安装

注：具体详见下文

  2.开始配置操作

      ----创建安装目录  

           

cd /opt
mkdir software
cd software
mkdir hadoop
cd hadoop/
mkdir hdfs
cd hdfs/
mkdir data
mkdir name
mkdir tmp

     ----返回hadoop目录上传文件

cd /opt/software/hadoop/

   ![](https://img-blog.csdnimg.cn/f945fa6779194365980681b73feff2fb.png)

   ----安装lrzsz插件

yum -y install lrzsz


    ----rz#上传hadoop-2.9.2.tar.gz（或者直接将压缩包拖拽进命令行）


    ----将上传的文件进行解压

tar -xvzf hadoop-2.9.2.tar.gz

     ----配置HADOOP HOME的环境变量        

vi /etc/profile

     ----打开配置文件后将以下代码键入最底部

export HADOOP_HOME=/opt/software/hadoop/hadoop-2.9.2
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin


     ----刷新配置文件

source /etc/profile

    ----测试hadoop是否安装成功

hadoop version


   ----配置hadoop-env.sh（仅修改JAVA_HOME和HADOOP_CONF_DIR的值，其他配置不变）

   ----先cd进入Hadoop路径

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop/

   ----进入hadoop-env.sh配置文件

vi hadoop-env.sh

  ----配置为：

export JAVA_HOME=/usr/local/java/jdk1.8
export HADOOP_CONF_DIR=/opt/software/hadoop/hadoop-2.9.2/etc/hadoop


  ----配置yarn-env.sh

  ----进入yarn-env.sh配置文件

vi yarn-env.sh

  ----找到# export JAVAHOME=/home/y/libexec/jdk1.6.0/在该代码的下一行添加以下配置（注：此配置为新增值，无需修改其他配置）

export JAVA_HOME=/usr/local/java/jdk1.8


   ----配置core-site.xml

   ----进入core-site.xml配置文件

vi core-site.xml

   ----在文件底部的<configuration> </configuration>之间添加以下代码

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/software/hadoop/hdfs/tmp</value>
</property>


    ----配置hdfs-site.xml

    ----进入hdfs-site.xml配置文件 

vi hdfs-site.xml

    ----在文件底部的<configuration> </configuration>之间添加以下代码

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/software/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/opt/software/hadoop/hdfs/data</value>
</property>
<property>
    <name>dfs.datanode.max.locked.memory</name>
    <value>65536</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>


     ----配置mapred-site.xml

     ----将mapred-site.xml.template复制并重命名为mapred-site.xml文件进行配置

cp mapred-site.xml.template  mapred-site.xml

     ----进入mapred-site.xmll配置文件 

vi mapred-site.xml

     ----在文件底部的<configuration> </configuration>之间添加以下代码

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>


    ----配置yarn-site.xml

    ----进入yarn-site.xml配置文件

vi yarn-site.xml

    ----在文件底部的<configuration> </configuration>之间添加以下代码

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>node01</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<property>
 <name>yarn.nodemanager.vmem-check-enabled</name>
 <value>false</value>
</property>


     ----配置三台主机名（原主机名为hostname）

vi slaves


    ----配置同步信息

    ----在node02和node03上执行以下命令

cd /opt/
mkdr software

     ----将node01上的配置文件分发同步到node02和node03上（使用scp命令进行同步）

cd /opt/software/

scp -r hadoop/ node02:$PWD
scp -r hadoop/ node03:$PWD

显示这些表示分发成功了！

    ----配置环境变量

    ----分别在node02和node03上执行以下命令

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop/


vi /etc/profile

     ----在文件底部添加以下代码

export HADOOP_HOME=/opt/software/hadoop/hadoop-2.9.2
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin


      ----配置完成后分别在node02和node03上刷新配置文件

source /etc/profile

三 集群的启动

  1.格式化集群

      ----在node01上进行格式化

hdfs namenode -format


  2.启动集群（仅在node01上启动）

start-dfs.sh

  3.查看启动情况

      ----在node01,node02,node03上分别查看进程启动情况

jsp


       ----在浏览器上访问web管理台：

       ----http://192.168.67.110:50070/​​​​​​


  4.上传文件测试

       ----在node01的hadoop路径下创建目录（test）

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop/

hdfs dfs -mkdir /test


        ----上传文件到node01

cd /opt/
mkdir testData
cd testData/
mkdir hdfs
cd hdfs

        ----rz #上传hadoop-2.9.2.tar.gz


        ----把hadoop-2.9.2.tar.gz上传到分布式文件系统

hdfs dfs -put hadoop-2.9.2.tar.gz  /test


         ----文件上传成功后查看节点情况

大功告成！！！！！！

四 HDFS完全分布式集群搭建过程中常见问题总结与解决方法

  1. jps后不显示DataNode的解决办法：（多次格式化也可能会导致此状况的出现）

去到hadoop路径下，找到data后删除

分别在node02，node03上分别执行上述操作；

执行完毕后在node01中重新执行格式化操作

hdfs namenode -format

在node01中启动集群，并再次键入jps查看

在node02和node03中也分别键入jps（正常结果如下图所示）

  1. 下载yum makecache出现拒绝连接问题

在命令行键入以下代码

yum makecache fast

显示元数据缓存以建立则表示问题解决。

标签： hdfs 分布式 hadoop
本文转载自: https://blog.csdn.net/qq_53025556/article/details/126864631
版权归原作者 -我不是码农 所有， 如有侵权，请联系我们删除。
登录后发布评论

“HDFS完全分布式集群搭建与配置及常见问题总结(有手就行)”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

机器人技术在安全领域的重要作用

安全学习记录——网络篇（一）

图腾柱PFC：HP1010为您的电动两轮车之旅提供绿色，高效，安全的动力

单元测试数据库回滚问题

这才是单元测试，之前我们都错了

【C语言基础】：字符函数和字符串函数

ChatGPT-Next-Web SSRF漏洞+XSS漏洞复现(CVE-2023-49785)

文章导航