0
0

【Hadoop-HA 搭建】hadoop-ha 高可用集群配置

搭建hadoop高可用集群，首先确保搭建了hadoop集群，zookeeper集群。hadoop 三个集群节点分别为主节点 master，两个副节点node01、node02。

hadoop集群配置

配置core-site.xml

vi core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/data</value> </property> </configuration>

配置 hdfs-site.xml

vi hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property> <name>dfs.namenode.http-address</name> <value>node01:9870</value> </property> </configuration>

配置 mapred-site.xml

vi mapred-site.xml

<configuration> <property> 
  1.           <name>mapreduce.framework.name</name>
  3.           <value>yarn</value>
  5.    </property>
</configuration>

配置 yarn-site.xml

vi yarn-site.xml

<configuration> <property> 
  1.           <name>yarn.resourcemanager.hostname</name>
  3.           <value>master</value>
  5.    </property>
  7.    <property>
  9.           <name>yarn.nodemanager.aux-services</name>
  11.           <value>mapreduce_shuffle</value>
  12.     </property>
  13.        
  14.     <property>
  15.  <name>yarn.application.classpath</name>
  16.  <value>/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/yarn:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*</value>
  17.     </property>
  18.      <property>
  19.          <name>yarn.resourcemanager.webapp.address</name>
  20.          <value>node01:8088</value>
  21.      </property>
</configuration>

hadoop-ha集群配置

配置 core-site.xml

vi core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </property> 
  1.    <property>
  2.            <name>hadoop.tmp.dir</name>
  3.            <value>/usr/local/hadoop/data</value>
  4.     </property>
  5.     <property>
  6.            <name>io.file.buffer.size</name>
  7.            <value>131702</value>
  8.            <description>缓存大小设置,单位为KB，131072KB即为默认的64M</description>
  9.     </property>
  10.     <property>
  11.            <name>ha.zookeeper.quorum</name>
  12.            <value>master:2181,node01:2181,node02:2181</value>
  13.     </property>
  14.      <property>
  15.          <name>hadoop.proxyuser.hue.hosts</name>
  16.          <value>*</value>
  17.      </property>
  18.      <property>
  19.          <name>hadoop.proxyuser.hue.groups</name>
  20.          <value>*</value>
  21.      </property>
</configuration>

配置 hdfs-site.xml

vi hdfs-site.xml

<configuration> 
  1.     <!-- NameNode数据存储目录 -->
  2.      <property>
  3.              <name>dfs.namenode.name.dir</name>
  4.              <value>file://${hadoop.tmp.dir}/name</value>
  5.      </property>
  7.     <!-- DataNode数据存储目录 -->
  8.      <property>
  9.              <name>dfs.datanode.data.dir</name>
  10.              <value>file://${hadoop.tmp.dir}/data</value>
  11.      </property>
  13.     <!-- JournalNode数据存储目录 -->
  14.      <property>
  15.              <name>dfs.journalnode.edits.dir</name>
  16.              <value>${hadoop.tmp.dir}/jn</value>
  17.      </property>
  19.     <!-- 完全分布式集群名称 -->
  20.      <property>
  21.              <name>dfs.nameservices</name>
  22.              <value>ns</value>
  23.      </property>
  26.      <!-- 集群中 NameNode 节点都有哪些 -->
  27.      <property>
  28.              <name>dfs.ha.namenodes.ns</name>
  29.              <value>nn1,nn2,nn3</value> 
  30.      </property>
  31.      <!-- NameNode 的 RPC 通信地址 -->
  32.      <property>
  33.              <name>dfs.namenode.rpc-address.ns.nn1</name>
  34.              <value>master:8020</value>
  35.      </property>
  36.      <property>
  37.              <name>dfs.namenode.rpc-address.ns.nn2</name>
  38.              <value>node01:8020</value>
  39.      </property>
  41.     <property>
  42.              <name>dfs.namenode.rpc-address.ns.nn3</name>
  43.              <value>node02:8020</value>
  44.      </property>
  45.      <!-- NameNode 的 http 通信地址 -->
  46.      <property>
  47.              <name>dfs.namenode.http-address.ns.nn1</name>
  48.              <value>master:9870</value>
  49.      </property>
  50.      <property>
  51.              <name>dfs.namenode.http-address.ns.nn2</name>
  52.              <value>node01:9870</value>
  53.      </property>
  54.      <property>
  55.              <name>dfs.namenode.http-address.ns.nn3</name>
  56.              <value>node02:9870</value>
  57.      </property>
  58.      <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
  59.      <property>
  60.              <name>dfs.namenode.shared.edits.dir</name>
  61.              <value>qjournal://master:8485;node01:8485;node02:8485/ns</value>
  62.      </property>
  63.      <!-- 访问代理类：client 用于确定哪个 NameNode 为 Active -->
  64.      <property>
  65.              <name>dfs.client.failover.proxy.provider.ns</name>
  67.             <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  68.      </property>
  69.      <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  70.      <property>
  71.              <name>dfs.ha.fencing.methods</name>
  72.              <value>sshfence</value>
  73.      </property>
  74.      <!-- 使用隔离机制时需要 ssh 秘钥登录-->
  75.      <property>
  76.              <name>dfs.ha.fencing.ssh.private-key-files</name>
  77.              <value>/root/.ssh/id_rsa</value>
  78.      </property>
  79.      <!-- 启用 nn 故障自动转移 -->
  80.      <property>
  81.              <name>dfs.ha.automatic-failover.enabled</name>
  82.              <value>true</value>
  83.      </property>
</configuration>

配置 mapred-site.xml

vi mapred-site.xml

<configuration> <property> 
  1.           <name>mapreduce.framework.name</name>
  3.           <value>yarn</value>
  5.    </property>
</configuration>

配置 yarn-site.xml

vi yarn-site.xml

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 
  1.     <!-- 开启日志聚集功能 -->
  2.      <property>
  3.              <name>yarn.log-aggregation-enable</name>
  4.              <value>true</value>
  5.      </property>
  6.      <!-- 设置日志聚集服务器地址 -->
  7.      <property>
  8.              <name>yarn.log.server.url</name>
  9.              <value>http://master:19888/jobhistory/logs</value>
  10.      </property>
  11.      <!-- 设置日志保留时间为 7 天 -->
  12.      <property>
  13.              <name>yarn.log-aggregation.retain-seconds</name>
  14.              <value>604800</value>
  15.      </property>
  17.     <!-- 启用 resourcemanager ha -->
  18.      <property>
  19.              <name>yarn.resourcemanager.ha.enabled</name>
  20.              <value>true</value>
  21.      </property>
  24.      <!-- 声明 resourcemanager 的地址 -->
  25.      <property>
  26.              <name>yarn.resourcemanager.cluster-id</name>
  27.              <value>cluster-yarn1</value>
  28.      </property>
  29.      <!--指定 resourcemanager 的逻辑列表-->
  30.      <property>
  31.              <name>yarn.resourcemanager.ha.rm-ids</name>
  32.              <value>rm1,rm2,rm3</value>
  33.      </property>
  34.      <!-- ========== rm1 的配置 ========== -->
  35.      <!-- 指定 rm1 的主机名 -->
  36.      <property>
  37.              <name>yarn.resourcemanager.hostname.rm1</name>
  38.              <value>master</value>
  39.      </property>
  40.      <!-- 指定 rm1 的 web 端地址 -->
  41.      <property>
  42.              <name>yarn.resourcemanager.webapp.address.rm1</name>
  43.              <value>master:8088</value>
  44.      </property>
  45.      <!-- 指定 rm1 的内部通信地址 -->
  46.      <property>
  47.              <name>yarn.resourcemanager.address.rm1</name>
  48.              <value>master:8032</value>
  49.      </property>
  50.      <!-- 指定 AM 向 rm1 申请资源的地址 -->
  51.      <property>
  52.              <name>yarn.resourcemanager.scheduler.address.rm1</name>
  53.              <value>master:8030</value>
  54.      </property>
  55.      <!-- 指定供 NM 连接的地址 -->
  56.      <property>
  57.              <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
  58.              <value>master:8031</value>
  59.      </property>
  60.      <!-- ========== rm2 的配置 ========== -->
  61.      <!-- 指定 rm2 的主机名 -->
  62.      <property>
  63.              <name>yarn.resourcemanager.hostname.rm2</name>
  64.              <value>node01</value>
  65.      </property>
  66.      <property>
  67.              <name>yarn.resourcemanager.webapp.address.rm2</name>
  68.              <value>node01:8088</value>
  69.      </property>
  70.      <property>
  71.              <name>yarn.resourcemanager.address.rm2</name>
  72.              <value>node01:8032</value>
  73.      </property>
  74.      <property>
  75.              <name>yarn.resourcemanager.scheduler.address.rm2</name>
  76.              <value>node01:8030</value>
  77.      </property>
  78.      <property>
  79.              <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
  80.              <value>node01:8031</value>
  81.      </property>
  82.      <!-- ========== rm3 的配置 ========== -->
  83.      <!-- 指定 rm3 的主机名 -->
  84.      <property>
  85.              <name>yarn.resourcemanager.hostname.rm3</name>
  86.              <value>node02</value>
  87.      </property>
  88.      <!-- 指定 rm3 的 web 端地址 -->
  89.      <property>
  90.              <name>yarn.resourcemanager.webapp.address.rm3</name>
  91.              <value>node02:8088</value>
  92.      </property>
  93.      <!-- 指定 rm3 的内部通信地址 -->
  94.      <property>
  95.              <name>yarn.resourcemanager.address.rm3</name>
  96.              <value>node02:8032</value>
  97.      </property>
  98.      <!-- 指定 AM 向 rm3 申请资源的地址 -->
  99.      <property>
  100.              <name>yarn.resourcemanager.scheduler.address.rm3</name>
  101.              <value>node02:8030</value>
  102.      </property>
  103.      <!-- 指定供 NM 连接的地址 -->
  104.      <property>
  105.              <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
  106.              <value>node02:8031</value>
  107.      </property>
  108.      <!-- 指定 zookeeper 集群的地址 -->
  109.      <property>
  110.              <name>yarn.resourcemanager.zk-address</name>
  111.              <value>master:2181,node01:2181,node02:2181</value>
  112.      </property>
  115.      <!-- 启用自动恢复 -->
  116.      <property>
  117.              <name>yarn.resourcemanager.recovery.enabled</name>
  118.              <value>true</value>
  119.      </property>
  122.      <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 -->
  123.      <property>
  124.              <name>yarn.resourcemanager.store.class</name>
  125.              <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  126.      </property>
  127.      <!-- 环境变量的继承 -->
  128.      <property>
  129.              <name>yarn.nodemanager.env-whitelist</name>
  130.              <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLAS SPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  131.      </property>
</configuration>

将hadoop 复制到节点 “/export/hadoop” 为自己hadoop安装的文件地址

scp -r /export/hadoop node01:/export
scp -r /export/hadoop node02:/export

hadoop-ha启动配置

启动JournalNode服务

JournalNode是Hadoop高可用架构中的一个重要组件，‌它负责编辑日志的管理和存储，‌以确保NameNode的数据一致性和高可用性。‌

先关闭hadoop集群包括hdfs，yarn和zookeeper，咋master节点启动JournalNode。

hdfs --daemon start journalnode

master节点初始化namenode

hdfs namenode -format

三个节点都启动zookeeper

zkServer.sh start

查看zookeeper启动状态，三个节点查看状态，只会有一个节点显示active，是正确的

zkServer.sh status

在master节点初始化ZKFC

这个命令会清除ZKFC的元数据，‌包括故障转移控制器的状态和配置信息。‌在使用此命令之前，‌需要确保ZooKeeper服务已经启动并且可用。‌该命令的主要作用是初始化或重置ZKFC，‌以便创建一个新的ZKFC实例或清除旧的配置信息和状态。‌

hdfs zkfc -formatZK

在node01、node02节点复制NameNode元数据

命令用于将Active NameNode的元数据目录内容复制到Standby NameNode的元数据目录下，‌以实现两者之间的元数据同步。‌这一操作通常在HDFS高可用(HA)配置中执行，‌特别是在初始化Standby NameNode或需要同步两个NameNode的元数据时。‌执行此命令可以确保Standby NameNode拥有与Active NameNode相同的元数据状态，‌从而在Active NameNode发生故障时，‌Standby NameNode能够迅速接管并继续提供服务，‌实现无缝的故障转移‌。‌

hdfs namenode -bootstrapStandby

启动hadoop

start-all.sh #启动全部
start-dfs.sh #启动dfs
start-yarn.sh #启动yarn

查看yarn服务状态

yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2
yarn rmadmin -getServiceState rm3

hadoop高可用启动结果入下，即为正确

标签： hadoop zookeeper
本文转载自: https://blog.csdn.net/qq_46132558/article/details/141138558
版权归原作者 prince&陌 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【Hadoop-HA 搭建】hadoop-ha 高可用集群配置”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？