在将spark程序提交到yarn中运行的时出现以下报错
ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (1024+384 MB)is above the max threshold (1024 MB)of this cluster! Please check the valuesof'yarn.scheduler.maximum-allocation-mb'and/or'yarn.nodemanager.resource.memory-mb'.
原因:
在配置yarn的配置文件中设置的内存过小,不能够支持spark程序的运行所以出现了报错
解决方法:
cd /opt/module/hadoop-2.7.7/etc/hadoop
修改
vi yarn-site.xml
<property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value></property>
改为:
<property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value></property>
关闭yarn
stop-yarn.sh
对文件进行分发
scp -r /opt/module/hadoop-2.7.7 root@slave1:/opt/module/
scp -r /opt/module/hadoop-2.7.7 root@slave2:/opt/module/
启动yarn
start-yarn,sh
本文转载自: https://blog.csdn.net/yujinlong2002/article/details/129670680
版权归原作者 阿龙的代码在报错 所有, 如有侵权,请联系我们删除。
版权归原作者 阿龙的代码在报错 所有, 如有侵权,请联系我们删除。