0


ERROR SparkContext: Error initializing SparkContext. ()

在将spark程序提交到yarn中运行的时出现以下报错

  1. ERROR SparkContext: Error initializing SparkContext.
  2. java.lang.IllegalArgumentException: Required executor memory (1024+384 MB)is above the max threshold (1024 MB)of this cluster! Please check the valuesof'yarn.scheduler.maximum-allocation-mb'and/or'yarn.nodemanager.resource.memory-mb'.

原因:
在配置yarn的配置文件中设置的内存过小,不能够支持spark程序的运行所以出现了报错
解决方法:

  1. cd /opt/module/hadoop-2.7.7/etc/hadoop

修改

  1. vi yarn-site.xml
  1. <property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value></property>

改为:

  1. <property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value></property>

关闭yarn

  1. stop-yarn.sh

对文件进行分发

  1. scp -r /opt/module/hadoop-2.7.7 root@slave1:/opt/module/
  2. scp -r /opt/module/hadoop-2.7.7 root@slave2:/opt/module/

启动yarn

  1. start-yarn,sh
标签: hadoop 大数据 spark

本文转载自: https://blog.csdn.net/yujinlong2002/article/details/129670680
版权归原作者 阿龙的代码在报错 所有, 如有侵权,请联系我们删除。

“ERROR SparkContext: Error initializing SparkContext. ()”的评论:

还没有评论