当前位置: 代码迷 >> 综合 >> spark on yarn(ERROR client.TransportClient: Failed to send RPC)
  详细解决方案

spark on yarn(ERROR client.TransportClient: Failed to send RPC)

热度:37   发布时间:2023-12-18 01:24:44.0

主要是给节点分配的内存少,yarn kill了spark application。

给yarn-site.xml增加配置:

<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>

重启hadoop。然后再重新提交spark application即可。

  相关解决方案