0
0

Hadoop运行模式

⭐简单说两句⭐

作者：****后端小知识

CSDN个人主页：后端小知识

🔎GZH：

后端小知识

🎉欢迎关注🔎点赞👍收藏⭐️留言📝

image-20230824160445823

文章目录

Hadoop运行模式

Hadoop官方网站：http://hadoop.apache.org/

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

  • 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
  • 伪分布式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
  • 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

本地运行模式（官方WordCount）

😁创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

[root@hadoop102 hadoop-3.1.3]# mkdir wcinput

😊在wcinput文件下创建一个word.txt文件并编辑

[root@hadoop102 wcinput]# vim word.txt

输入如下内容

hadoop yarn

hadoop mapreduce

保存并退出 

:wq

😜回到Hadoop目录/opt/module/hadoop-3.1.3

😜执行程序

[root@hadoop102 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

😉查看结果

[root@hadoop102 hadoop-3.1.3]# cat wcoutput/part-r-00000

完全分布式运行模式（开发重点）

分析：

​ 1）准备2台客户机（关闭防火墙、静态IP、主机名称）

​ 2）安装JDK

​ 3）配置环境变量

​ 4）安装Hadoop

​ 5）配置环境变量

​ 6）配置集群

​ 7）单点启动

​ 8）配置ssh

​ 9）群起并测试集群

编写集群分发脚本xsync

😙rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

（1）基本语法

rsync -av 

     p 
    
   
     d 
    
   
     i 
    
   
     r 
    
   
     / 
    
   
  
    pdir/ 
   
  
pdir/fname  
 
  
   
   
     u 
    
   
     s 
    
   
     e 
    
   
     r 
    
   
     @ 
    
   
  
    user@ 
   
  
user@host: 
 
  
   
   
     p 
    
   
     d 
    
   
     i 
    
   
     r 
    
   
     / 
    
   
  
    pdir/ 
   
  
pdir/fname

命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
选项功能-a归档拷贝-v显示复制过程
（2）案例实操

（a）删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

[root@hadoop103 hadoop-3.1.3]# rm -rf wcinput/

（b) 同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

[root@hadoop102 module]# rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

😋xsync集群分发脚本

期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

echo$PATH

我这里创建文件xsync文件放在 /usr/bin 下面

xsync文件内容如下

#!/bin/bash#1. 判断参数个数if[$#-lt1]thenecho Not Enough Arguement!exit;fi#2. 遍历集群所有机器forhostin hadoop102 hadoop103 
doecho====================$host====================#3. 遍历所有目录，挨个发送forfilein$@do#4. 判断文件是否存在if[-e$file]then#5. 获取父目录pdir=$(cd-P$(dirname $file);pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh$host"mkdir -p $pdir"rsync-av$pdir/$fname$host:$pdirelseecho$file does not exists!fidonedone

😏修改脚本 xsync 具有执行权限

[root@hadoop102 bin]# chmod +x xsync

😀测试脚本，同步环境变量配置

[root@hadoop102 ~]#    xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。

让环境变量生效，每个机器都要弄

source /etc/profile

SSH无密登录配置

😊配置ssh

（1）基本语法

ssh 另一台电脑的IP地址

😜无密钥配置

（1）生成公钥和私钥

进入到

.ssh

目录中去

[root@hadoop102 .ssh]# ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件

id_rsa

（私钥）、

id_rsa.pub

（公钥）

（2）将公钥拷贝到要免密登录的目标机器上

[root@hadoop102 .ssh]# ssh-copy-id hadoop102[root@hadoop102 .ssh]# ssh-copy-id hadoop103

【注意】

还需要在hadoop103上采用root账号配置一下无密登录到hadoop102、hadoop103服务器上。

😋

.ssh

文件夹下（~/.ssh）的文件功能解释
known_hosts记录ssh访问过计算机的公钥（public key）id_rsa生成的私钥id_rsa.pub生成的公钥authorized_keys存放授权过的无密登录服务器公钥

集群配置

😀集群部署规划
hadoop102hadoop103HDFS（NameNode） （DataNode） （ SecondaryNameNodeDataNode ）DataNodeYARNYARN（NodeManager ）（ResourceManager）（NodeManager）
🎨配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：
要获取的默认文件文件存放在Hadoop的jar包中的位置[core-default.xml]hadoop-common-3.1.3.jar/core-default.xml[hdfs-default.xml]hadoop-hdfs-3.1.3.jar/hdfs-default.xml[yarn-default.xml]hadoop-yarn-common-3.1.3.jar/yarn-default.xml[mapred-default.xml]hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml
（2）自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

🏓配置集群

（1）核心配置文件

配置core-site.xml

[root@hadoop102 ~]# cd $HADOOP_HOME/etc/hadoop

[root@hadoop102 hadoop]# vim core-site.xml

内容如下

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- 指定NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://hadoop102:8020</value></property><!-- 指定hadoop数据的存储目录 --><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.1.3/data</value></property><!-- 配置HDFS网页登录使用的静态用户为tiancx --><property><name>hadoop.http.staticuser.user</name><value>tiancx</value></property></configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[root@hadoop102 hadoop]# vim hdfs-site.xml

内容如下

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- nn web端访问地址--><property><name>dfs.namenode.http-address</name><value>hadoop102:9870</value></property><!-- 2nn web端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop102:9868</value></property></configuration>

（3）YARN配置文件

配置yarn-site.xml

[root@hadoop102 hadoop]# vim yarn-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value></property><!-- 环境变量的继承 --><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property></configuration>

（4）MapReduce配置文件

配置mapred-site.xml

[root@hadoop102 hadoop]# vim mapred-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- 指定MapReduce程序运行在Yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

🏸在集群上分发配置好的Hadoop配置文件

[root@hadoop102 hadoop]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/

然后可以起hadoop103上面看看情况

群起集群

🧾配置worker

[root@hadoop102 hadoop]# vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在文件中添加如下内容

hadoop102

hadoop103

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[root@hadoop102 hadoop]# xsync /opt/module/hadoop-3.1.3/etc

🍉启动集群

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[root@hadoop102 hadoop-3.1.3]# hdfs namenode -format

（2）启动HDFS

[root@hadoop102 hadoop-3.1.3]# sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

[root@hadoop103 hadoop-3.1.3]# sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（5）Web端查看YARN的ResourceManager

🍏集群基本测试

（1）上传文件到集群

  • 上传小文件[root@hadoop102 ~]# hadoop fs -mkdir /input``````[root@hadoop102 ~]# hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
  • 上传大文件[root@hadoop102 ~]# hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

（2）上传文件后查看文件存放在什么位置

  • 查看HDFS文件存储路径[root@hadoop102 subdir0]# pwd/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0
  • 查看HDFS在磁盘存储文件内容[root@hadoop102 subdir0]# cat blk_1073741825

（3）拼接

[root@hadoop102 subdir0]# cat blk_1073741836>>tmp.tar.gz[root@hadoop102 subdir0]# cat blk_1073741837>>tmp.tar.gz[root@hadoop102 subdir0]# tar -zxvf tmp.tar.gz

（4）下载

[root@hadoop104 software]# hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）执行wordcount程序

[root@hadoop102 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

配置历史服务器

🌼配置mapred-site.xml

[root@hadoop102 hadoop]# vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value></property><!-- 历史服务器web端地址 --><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value></property>

🍄分发配置

[root@hadoop102 hadoop]# xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

🍓在hadoop102启动历史服务器

[root@hadoop102 hadoop]# mapred --daemon start historyserver

🍋查看历史服务器是否启动

[root@hadoop102 hadoop]# jps

🍪查看JobHistory

http://hadoop102:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

image-20230824153849992

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：

（1）配置yarn-site.xml

[root@hadoop102 hadoop]# vim yarn-site.xml

添加如下内容

<!-- 开启日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 设置日志聚集服务器地址 --><property><name>yarn.log.server.url</name><value>http://hadoop102:19888/jobhistory/logs</value></property><!-- 设置日志保留时间为7天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>

（2）分发配置

[root@hadoop102 hadoop]# xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

（3）关闭NodeManager 、ResourceManager和HistoryServer

[root@hadoop103 hadoop-3.1.3]# sbin/stop-yarn.sh[root@hadoop103 hadoop-3.1.3]# mapred --daemon stop historyserver

（4）启动NodeManager 、ResourceManage和HistoryServer

[root@hadoop103 ~]# start-yarn.sh

[root@hadoop102 ~]# mapred --daemon start historyserver

（5）删除HDFS上已经存在的输出文件

[root@hadoop102 ~]# hadoop fs -rm -r /output

（6）执行WordCount程序

[root@hadoop102 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

（7）查看日志

历史服务器地址

http://hadoop102:19888/jobhistory

集群启动/停止方式总结

🍊各个模块分开启动停止（配置ssh是前提）常用

（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

🍎各个服务组件逐一启动停止

（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn--daemon start/stop  resourcemanager/nodemanager

编写Hadoop集群常用脚本

🥕Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[root@hadoop102 ~]# cd /usr/bin[root@hadoop102 bin]# vim myhadoop.sh

输入如下内容

#!/bin/bashif[$#-lt1]thenecho"No Args Input..."exit;ficase$1in"start")echo" =================== 启动 hadoop集群 ==================="echo" --------------- 启动 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"echo" --------------- 启动 yarn ---------------"ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"echo" --------------- 启动 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver";;"stop")echo" =================== 关闭 hadoop集群 ==================="echo" --------------- 关闭 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"echo" --------------- 关闭 yarn ---------------"ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"echo" --------------- 关闭 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh";;
*)echo"Input Args Error...";;esac

保存后退出，然后赋予脚本执行权限

[root@hadoop102 bin]# chmod +x myhadoop.sh

🥝查看三台服务器Java进程脚本：jpsall

[root@hadoop102 ~]# cd /usr/bin[root@hadoop102 bin]# vim jpsall

输入如下内容

#!/bin/bashforhostin hadoop102 hadoop103 
doecho===============$host===============ssh$host jps 
done

保存后退出，然后赋予脚本执行权限

[root@hadoop102 bin]# chmod +x jpsall

🥥分发/usr/bin目录，保证自定义脚本在三台机器上都可以使用

[root@hadoop102 ~]# xsync /usr/bin/

常用端口号说明

端口名称Hadoop2.xHadoop3.xNameNode内部通信端口8020 / 90008020 / 9000/9820NameNode HTTP UI500709870MapReduce查看执行任务端口80888088历史服务器通信端口1988819888
【注】：集群时间同步就不写了，因为服务器在公网环境（能连接外网），不用同步时间

好啦，环境搭建章节就到这儿就结束了额，大家快快行动起来吧😎

【都看到这了，点点赞点点关注呗，爱你们】😚😚

抽象工厂 引导关注

结语

谢谢你的阅读

，由于作者水平有限，难免有不足之处，若读者发现问题，还请批评，在留言区留言或者私信告知，我一定会尽快修改的。若各位大佬有什么好的解法，或者有意义的解法都可以在评论区展示额，万分谢谢。
写作不易，望各位老板点点赞，加个关注!😘😘😘

💬

作者：****后端小知识

CSDN个人主页：后端小知识

🔎GZH：

后端小知识

🎉欢迎关注🔎点赞👍收藏⭐️留言📝

标签： hadoop 大数据 java
本文转载自: https://blog.csdn.net/m0_46833224/article/details/132477412
版权归原作者 后端小知识 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Hadoop运行模式”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

JWT Spring Boot Security：构建安全的现代Web应用

Postman使用指南①网页版使用

【IntelliJ IDEA 2024 激活及安装教程，亲测可以使用】

掌握网页设计中的交互神器：滑动门效果

spark sql详解

vue2中，前端实现语音播报

基于face_recognition与Django人脸识别服务案例

文章导航