这是一篇新手笔记
在提交spark任务的时候,若 --class参数类名指定错误会让任务无法运行
那么如果不会看文件路径的话,如何精准找出自己打包的类名呢?
可以使用此条命令找到自己的类:
jar tf <jarfile>
找到自己需要运行的任务,就可以直接使用spark-submit命令上传任务了
spark-submit --master yarn --driver-memory 2G --driver-cores 2 --num-executors 2 --executor-memory 3g --executor-cores 4 --class spark.spark_hive1 /opt/demo2.jar
成功运行!
版权归原作者 鹿饮清溪 所有, 如有侵权,请联系我们删除。