产生shuffle的原因
其根本原因在于数据需要进行迁移才能产出正确的数据
join什么时候不需要数据迁移就能得出结果？
当 分区数 和 分区器 是一样的时候
也就是在本地就能完成相关join的操作
所以不需要数据迁移
也就可以不产生shuffle
结论
不一定产生shuffle。
详细解决方案
Spark 中join一定产生shuffle吗？
热度：54 发布时间：2023-09-13 04:31:17.0
相关解决方案
- spark + openfire的聊天监控有关问题
- 开发 openfire + spark + smack 有关问题，坐等大神
- spark Jpanel 组件格局
- 8个表的 inner join ,现在3万条数据就支持不住了, 怎么处理
- 一次inner join select和 多次select 哪位高手的效率高
- 绑定的SqlDataSource中能不能用Inner join？对应的Eval、Bind如何写
- 急inner join 有关问题
- 这个语句应该如何用inner join
- 求一条SQL语句关于 INNER JOIN,该如何解决
- full join 在不同数据库有不同结果，知道的一定要近来看下（内详）解决办法
- along with 跟 inner join、left join的关系？该如何处理
- along with 和 inner join、left join的关系
- along with 跟 inner join、left join的关系？该如何解决
- 关于full join 3个表关联有关问题
- 多个表 inner join 的执行有关问题
- 在foxpro中可以使用update inner join 的方法关联修改一个表吗解决方法
- left outer join 中的有关问题
- live555 组播失败 failed to join group异常
- oracle natural using join 差异
- JAVA中sleep()、wait()、yield()、join()方法浅析
- 大家给看看这个sql语句，小弟我实在看不懂,关键是LEFT OUTER JOIN,多谢了
- thinkphp关联查询有关问题，join
- 3表聚合 Sum INNER JOIN 合写的有关问题
- 跪left join 的sql语句写法
- hibernate 一对多表查询时fetchMode.join 生成left outer join 出来数据重复有关问题
- Join 用法，HQL的步骤，Hibernate中的fetch （转载）
- js 怎么使用 join() 方法将数组的所有元素组成一个字符串
- 几个惯用的JavaScript字符串处理函数 - split()、join()、substring()和indexOf()
- left join on and与left join on where的差别
- hql 自连接 self left join,该怎么解决