0


Spark任务提交 第1关:spark-submit提交

相关知识

为了完成本关任务,你需要掌握:1.了解

spark-submit

的参数。2.学会提交

Spark

程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数
参 数介 绍

--master
提交到哪里执行,如 standalone,local,yarn,mesos等
--name
 应用程序的名称
--class
应用程序的主类
--deploy-mode
 Driver 程序运行的地方,client 或者 cluster,默认是client
--driver-memory
 Driver内存,默认 1G
--executor-memory
每个executor的内存,默认是1G

使用格式:

./bin/spark-submit
--class
--master
--deploy-mode
--conf
... # other options
application-jar

计算圆周率

标签: spark 大数据 scala

本文转载自: https://blog.csdn.net/qq_61604164/article/details/128671049
版权归原作者 是草莓熊吖 所有, 如有侵权,请联系我们删除。

“Spark任务提交 第1关:spark-submit提交”的评论:

还没有评论