0


Spark on YARN

Apache Spark 和 Apache Hadoop YARN 是两个紧密相关的项目,它们经常一起使用来处理大规模数据集。下面我将解释 Spark 如何与 YARN 配合工作,以及如何在 YARN 上运行 Spark 应用程序。

Apache Spark

Apache Spark 是一个快速通用的大规模数据处理引擎,支持多种计算模式,如批处理、流处理、机器学习和图形处理。Spark 提供了一个统一的编程模型,可以在单个集群上运行各种类型的应用程序。

Apache Hadoop YARN

Apache Hadoop YARN (Yet Another Resource Negotiator) 是 Hadoop 的资源管理系统,它负责管理和调度集群上的资源(如 CPU、内存)。YARN 使 Hadoop 能够支持多种计算框架,而不仅仅是 MapReduce。

Spark on YARN

Spark 可以在 YARN 上运行,这允许 Spark 应用程序利用 YARN 的资源管理和调度能力。以下是 Spark 在 YARN 上运行的一般流程:

  1. 提交 Spark 应用程序:- 使用 spark-submit 命令提交 Spark 应用程序到 YARN。- spark-submit 命令可以指定 --master yarn 来指示 Spark 应用程序将在 YARN 上运行。
  2. YARN 资源管理:- ResourceManager (RM) 负责接收应用程序提交请求,并将应用程序分配给可用的 NodeManagers (NMs)。- ResourceManager 通过 ApplicationMaster (AM) 来管理 Spark 应用程序的生命周期。
  3. ApplicationMaster (AM):- AM 是 Spark 应用程序在 YARN 上的一个代理,负责向 ResourceManager 请求资源,并协调 Executor 的启动和关闭。- AM 还负责监控 Executor 的状态,并向 ResourceManager 报告故障。
  4. Executor 启动:- AM 会向 ResourceManager 请求资源来启动 Executor。- Executor 是 Spark 应用程序的工作单元,负责执行任务并在本地缓存数据。
  5. 任务调度和执行:- Spark 的 Driver Program 通过 AM 与 Executor 通信,发送任务并收集结果。- Executor 执行任务并将结果返回给 Driver Program。

示例:提交 Spark 应用程序到 YARN

要将 Spark 应用程序提交到 YARN,可以使用

spark-submit

命令,并指定一些必要的参数,例如:

深色版本

1spark-submit \
2  --master yarn \
3  --deploy-mode cluster \
4  --class com.example.MySparkApp \
5  --conf spark.yarn.appMasterEnv.SPARK_HOME=/path/to/spark \
6  --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/path/to/python \
7  --num-executors 10 \
8  --executor-memory 1g \
9  --executor-cores 2 \
10  --driver-memory 1g \
11  /path/to/app.jar

这里的关键参数包括:

  • --master yarn: 指定使用 YARN 作为集群管理器。
  • --deploy-mode cluster: 指定以集群模式部署,这意味着 Driver Program 也会在集群中运行。
  • --class: 指定应用程序的主类。
  • --conf: 设置环境变量或其他配置。
  • --num-executors: 指定 Executor 的数量。
  • --executor-memory: 指定每个 Executor 的内存大小。
  • --executor-cores: 指定每个 Executor 的 CPU 核心数。
  • --driver-memory: 指定 Driver Program 的内存大小。

总结

Spark 在 YARN 上运行是一种常见的部署方式,特别是在企业环境中。这种方式充分利用了 YARN 的资源管理和调度能力,同时让 Spark 应用程序能够高效地运行在 Hadoop 集群上。如果你需要进一步的帮助或有关于具体配置的问题,请随时提问!


本文转载自: https://blog.csdn.net/qq_41081716/article/details/141612401
版权归原作者 静听山水 所有, 如有侵权,请联系我们删除。

“Spark on YARN”的评论:

还没有评论