主要是给节点分配的内存少,yarn kill了spark application。
给yarn-site.xml增加配置:
<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>
重启hadoop。然后再重新提交spark application即可。