当前位置: 代码迷 >> 综合 >> Spark 运行问题 java.lang.NoSuchMethodError: scala.Predef 解决方案
  详细解决方案

Spark 运行问题 java.lang.NoSuchMethodError: scala.Predef 解决方案

热度:11   发布时间:2023-12-14 06:31:18.0

spark 程序在idea本地跑没问题

但一旦打包jar 提交到集群 就报这个错

百度一下说是scala 版本的问题 ,检查了下maven pom spark scala scala-sdk jdk version 都非常匹配没有毛病啊 

最后发现在 项目的 iml文件中

去掉不同版本的scala的orderEntry就能解决。只保留一个

通常我都是 spark 2.3.2 jdk1.8 scala 2.11.8

 

遇到问题仔细看别人的解决之道,勿浮躁