当前位置: 代码迷 >> 综合 >> Flink DataStream支持的物理分组方式
  详细解决方案

Flink DataStream支持的物理分组方式

热度:43   发布时间:2023-12-18 05:07:17.0
  • keyBy

上游算子按键分组发送给下游算子

  • global

上游算子将所有记录发送到下游算子的第一个实例

  • broadcast

上游算子将每条记录广播发送给下游算子的所有实例

  • forward

仅适用于上游算子实例数与下游算子数相同时的情况:每个上游算子实例将记录发送给下游算子对应的实例

  • shuffle

上游算子随机选择一个下游算子发送记录

  • rebalance

上游算子通过轮询的方式发送数据

  • rescale

假设上游和下游算子的实例数分别为n和m,若n < m,则每个上游实例向ceil(m/n)或floor(m/n)个下游实例轮询发送数据;若 n > m,则 floor(n/m) 或 ceil(n/m) 个上游实例向下游实例轮询发送数据

  • partitionCustom

自定义分组方式