当前位置: 代码迷 >> 综合 >> Spark中宽依赖、shuffle、join之间的关系
  详细解决方案

Spark中宽依赖、shuffle、join之间的关系

热度:76   发布时间:2023-10-25 12:20:48.0

这是一个有意思的问题。

准确来说只有宽依赖===>shuffle,也就是如果发生了宽依赖那么就一定发生了shuffle过程。其余的都没有直接联系。

1.发生宽依赖就一定会伴随着shuffle。

2.发生shuffle不一定产生宽依赖

比如一个RDD在不断的做join的过程。这个过程中每个RDD都使用了相同的分区器内部是基于cogroup的shuffle操作但是它的整个过程在同一个Stage里面。如下图:

3.发生join不一定发生shuffle

3.1比如说笛卡尔积(这个第一次听说还是挺反常的),它不需要key的聚合操作,它没有任何计算的过程整个流程直接无脑链接。底层直接使用迭代器O(m*n)的复杂度带走。

3.2比如说map join,底层使用广播变量加map集合直接在内存中去连接与判断。

3.3在join之前做一次group by,或者使用相同的分区器进行一次分区然后再去join这时join不会发生shuffle。

4.发生shuffle不一定发生join,这个嘛sortByKey。

5.推论,join不一定产生宽依赖。

6.推论,宽依赖不一定join。

 

到此完毕!最后,感谢老袁和我一起探索这个问题。

  相关解决方案