相关知识
为了完成本关任务,你需要掌握:1.了解
spark-submit
的参数。2.学会提交
Spark
程序在集群运行。
课程视频《spark-submit提交》
spark-submit参数
参 数介 绍
--master
提交到哪里执行,如 standalone,local,yarn,mesos等
--name
应用程序的名称
--class
应用程序的主类
--deploy-mode
Driver 程序运行的地方,client 或者 cluster,默认是client
--driver-memory
Driver内存,默认 1G
--executor-memory
每个executor的内存,默认是1G
使用格式:
./bin/spark-submit
--class
--master
--deploy-mode
--conf
... # other options
application-jar
计算圆周率
本文转载自: https://blog.csdn.net/qq_61604164/article/details/128671049
版权归原作者 是草莓熊吖 所有, 如有侵权,请联系我们删除。
版权归原作者 是草莓熊吖 所有, 如有侵权,请联系我们删除。