0


头歌:Spark任务提交

第1关:spark-submit提交
任务描述
相关知识
spark-submit参数
计算圆周率
编程要求
测试说明
任务描述
本关任务:学会将程序提交到集群上执行。

相关知识
为了完成本关任务,你需要掌握:1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数


使用格式:

./bin/spark-submit
  --class
  --master
  --deploy-mode
  --conf
  ... # other options
  application-jar

计算圆周率

cd /opt/spark/dist/bin
./spark-submit 
--master local 
--class org.apache.spark.examples.SparkPi
/opt/spark/dist/examples/jars/spark-examples_2.11-2.2.0.jar
./spark-submit --master 本地模式 --class 程序运行的主类名 xxx.jar 

编程要求
根据提示,在右侧编辑器补充代,将程序提交到spark上执行。

测试说明
平台会对你编写的代码进行测试:

jar包所在位置:

/root/project.jar

(点击测评的时候root目录下会有project.jar)

主类:Student
提交模式:local

预期输出:

(bj,88)(sh,67)(gz,92).

#!/bin/bash

cp -r  Spark/SparkRDD/target/project.jar /root
cd /opt/spark/dist/bin
#********** Begin **********#

./spark-submit \
--master local \
--class Student \
/root/project.jar

#********** End **********#

这段脚本首先将 project.jar 复制到 /root 目录下,然后切换到 /opt/spark/dist/bin 目录。在 begin 和 end 之间,使用 spark-submit 命令提交 Spark 程序,其中 --master local 指定了本地模式,--class Student 指定了主类为 Student,最后指定了 jar 包的路径为 /root/project.jar。


本文转载自: https://blog.csdn.net/weixin_62399938/article/details/138296097
版权归原作者 空心木偶☜ 所有, 如有侵权,请联系我们删除。

“头歌:Spark任务提交”的评论:

还没有评论