spark 程序在idea本地跑没问题
但一旦打包jar 提交到集群 就报这个错
百度一下说是scala 版本的问题 ,检查了下maven pom spark scala scala-sdk jdk version 都非常匹配没有毛病啊
最后发现在 项目的 iml文件中
去掉不同版本的scala的orderEntry就能解决。只保留一个
通常我都是 spark 2.3.2 jdk1.8 scala 2.11.8
遇到问题仔细看别人的解决之道,勿浮躁
spark 程序在idea本地跑没问题
但一旦打包jar 提交到集群 就报这个错
百度一下说是scala 版本的问题 ,检查了下maven pom spark scala scala-sdk jdk version 都非常匹配没有毛病啊
最后发现在 项目的 iml文件中
去掉不同版本的scala的orderEntry就能解决。只保留一个
通常我都是 spark 2.3.2 jdk1.8 scala 2.11.8
遇到问题仔细看别人的解决之道,勿浮躁