基于Spark3.3.4版本，实现Spark On Yarn 模式部署

一、环境描述

系统环境描述：本教程基于CentOS 8.0版本虚拟机

Hadoop ha 集群环境说明：

机器节点信息：

Spark 集群环境说明：

机器节点信息：

注意： Spark On Yarn 需要基于 Hadoop 体系的 Yarn 调度框架，所以需要先启动Yarn 调度框架（不一定需要启动Hadoop）

二、部署Spark 节点

2.1 下载资源包

Spark 包下载地址：

Index of /dist/spark/spark-3.3.4 (apache.org)

注意：需要和Hadoop体系的版本要保持一致，我这里的Hadoop是3.3.4版本，所以，我的Spark 版本也需要是3.3.4版本。（关于hadoop部署，这里不作过多介绍，可以查看我的博文：一篇文章带你学会Hadoop-3.3.4集群部署_hdoop jdk3.3.4-CSDN博客）

2.2 解压

tar -zxvf spark-3.3.4-bin-hadoop3.tgz

2.3 配置

2.3.1 配置hadoop信息

2.3.1.1 修改yarn-site.xml

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>
<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

2.3.1.2 mapred-site.xml

<property>
    <name>mapred.job.history.server.embedded</name>
    <value>true</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node3:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node3:50060</value>
</property>
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/work/mr_history_tmp</value>
</property>
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/work/mr-history_done</value>
</property>

2.3.2 配置spark-env.sh

# 进入config目录
cd spark-3.3.4-bin-hadoop3/conf
# 重命名配置文件
mv spark-env.sh.template spark-env.sh
# 修改配置信息
vim spark-env.sh

#配置在首行即可,配置完这个spark就能知道rm,nm，以及hdfs等节点的地址
export JAVA_HOME=/usr/local/jdk1.8.0_211
export HADOOP_CONF_DIR=/usr/local/hadoop-3.3.4/etc/hadoop
export YARN_CONF_DIR=/usr/local/hadoop-3.3.4/etc/hadoop

#配置历史服务器,切记端口是内部端口
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://mycluster/spark-logs
-Dspark.history.retainedApplications=30"

2.3.3 配置spark-defaults.conf

# 进入config目录
cd spark-3.3.4-bin-hadoop3/conf
# 重命名配置文件
mv spark-defaults.conf.template spark-defaults.conf
# 修改配置信息
vim spark-defaults.conf

# 开启spark的日期记录功能
spark.eventLog.enabled    true
#创建spark日志路径，待会儿要创建
spark.eventLog.dir    hdfs://mycluster/spark-logs

spark.history.fs.logDirectory  hdfs://mycluster/spark-logs
spark.yarn.jars  hdfs://mycluster/work/spark_lib/jars/*

2.4 分发

将配置好的spark-3.3.4-bin-hadoop3 分发到其他服务器

# 分发spark 包 
scp -r /usr/local/spark-3.3.4-bin-hadoop3/ node3:/usr/local/
scp -r /usr/local/spark-3.3.4-bin-hadoop3/ node4:/usr/local/
# 分发修改的hadoop的yarn-site.xml 和 mapred-site.xml
scp -r yarn-site.xml node1:/usr/local/hadoop-3.3.4/etc/hadoop/
scp -r mapred-site.xml  node1:/usr/local/hadoop-3.3.4/etc/hadoop/
 
scp -r yarn-site.xml node2:/usr/local/hadoop-3.3.4/etc/hadoop/
scp -r mapred-site.xml  node2:/usr/local/hadoop-3.3.4/etc/hadoop/

scp -r yarn-site.xml node3:/usr/local/hadoop-3.3.4/etc/hadoop/
scp -r mapred-site.xml  node3:/usr/local/hadoop-3.3.4/etc/hadoop/

scp -r yarn-site.xml node4:/usr/local/hadoop-3.3.4/etc/hadoop/
scp -r mapred-site.xml  node4:/usr/local/hadoop-3.3.4/etc/hadoop/

2.5 启动服务

2.5.1 启动hadoop集群

# 进去hadoop目录
cd /usr/local/hadoop-3.3.4/sbin
# 启动hadoop集群
start-all.sh start

2.5.2 启动hadoop 的historyserver

# 启动historyserver
mr-jobhistory-daemon.sh start historyserver

提示：如果执行mr-jobhistory-daemon.sh start historyserver 命令报如下错：

WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
WARNING: Attempting to execute replacement "mapred --daemon start" instead.

则可以换一个执行命令执行：

mapred --daemon start historyserver

验证history 服务：

执行hadoop 自带的workcount 测试代码，首先先准备需要统计的文件内容：

然后上传到hdfs中：

hdfs dfs -put data3.txt /input/

执行提交命令，执行：

# 进入hadoop 样例代码目录
cd /usr/local/hadoop-3.3.4/share/hadoop/mapreduce
# 提交样例代码执行
hadoop jar hadoop-mapreduce-examples-3.3.4.jar workCount /input/data3.txt /output/

查看统计结果：

hdfs dfs -cat /output/result/part-r-00000

ok，执行成功了，我们看下yanr调度面板，看下history 历史服务数据，看能否查看，如果能查看，证明historyserver 服务没有问题：

我们发现，可以进入History查看里面执行情况了，那证明historyserver 服务部署成功。

注意：但是这只是hadoop体系的历史服务器，我们这里是部署spark，spark有自己的历史服务器，不是hadoop的历史服务器

2.5.2 启动spark 服务

2.5.2.1 新建目录

# 新建 spark-logs 日志文件
hadoop fs -mkdir /spark-logs
# 文件授权
hadoop fs -chmod 777 /spark-logs

# 新建spark jar 包文件
hadoop fs -mkdir -p /work/spark_lib/jars
# 上传spark jars文件包
hadoop fs -put /usr/local/spark-3.3.4-bin-hadoop3/jars/* /work/spark_lib/jars

由图可见，目录创建成功了，相关文件也上传成功，接下来启动spark 服务

2.5.2.2 启动spark

# 启动spak-shell 分别在master、node3、node4中启动
bin/spark-shell --master yarn
# 启动 spark 历史服务器 在master、node3、node4中启动（看你在哪个节点执行测试就在哪个节点起吧，但是cluster模式下，都要起，主要作用是当执行节点关闭后，需要通过历史服务器查看执行记录和日志）
./sbin/start-history-server.sh start

2.6 测试

2.6.1 测试spark-shell

# 执行统计指令 在master中启动
sc.textFile("hdfs://mycluster/input/data3.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)

运行情况：

(golang,1)                            
(hello,4)
(java,1)
(c++,1)
(pytion,1)

登录http://master:4040 查看

2.6.2 测试historyserver 服务

关闭node3节点的spak-shell进程，测试历史服务器：

我们可以看到，关闭node3节点的spak-shell进程后，我们发现刚才的调度记录，变成了History状态，点击History，发现也点击不进去，那么我们该如何查看到历史直接记录呢？我们可以通过历史服务器查看：

访问历史服务器：http://node3:18080/

点击上图中标注出来的记录，进去就能看到和之前一样的执行记录了：

今天Spark-3.3.4 On Yarn模式部署的相关内容就分享到这里，可以关注Spark专栏《Spark》，后续不定期分享相关技术文章。如果帮助到大家，欢迎大家点赞+关注+收藏，有疑问也欢迎大家评论留言！