0


ERROR SparkContext: Error initializing SparkContext. ()

在将spark程序提交到yarn中运行的时出现以下报错

ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (1024+384 MB)is above the max threshold (1024 MB)of this cluster! Please check the valuesof'yarn.scheduler.maximum-allocation-mb'and/or'yarn.nodemanager.resource.memory-mb'.

原因:
在配置yarn的配置文件中设置的内存过小,不能够支持spark程序的运行所以出现了报错
解决方法:

cd /opt/module/hadoop-2.7.7/etc/hadoop

修改

vi yarn-site.xml 
<property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value></property>

改为:

<property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value></property>

关闭yarn

stop-yarn.sh

对文件进行分发

scp -r /opt/module/hadoop-2.7.7 root@slave1:/opt/module/
scp -r /opt/module/hadoop-2.7.7 root@slave2:/opt/module/

启动yarn

start-yarn,sh
标签: hadoop 大数据 spark

本文转载自: https://blog.csdn.net/yujinlong2002/article/details/129670680
版权归原作者 阿龙的代码在报错 所有, 如有侵权,请联系我们删除。

“ERROR SparkContext: Error initializing SparkContext. ()”的评论:

还没有评论