当前位置: 代码迷 >> 综合 >> Kafka Producer介绍
  详细解决方案

Kafka Producer介绍

热度:93   发布时间:2023-12-07 20:48:40.0
producer直接将数据发送到broker的leader(主节点) ,不需要在多个节点进行分发。为了帮助producer做到这点,所有的Kafka节点都可以及时的告知:哪些节点是活动的,目标topic目标分区的leader在哪。这样producer就可以直接将消息发送到目的地了。

客户端控制消息将被分发到哪个partition 。可以通过负载均衡随机的选择,或者 使用分区函数 。Kafka允许用户实现分区函数,指定分区的key,将 消息hash到不同的分区 上(当然有需要的话,也可以覆盖这个分区函数自己实现逻辑).比如如果你 指定的key是user id,那么同一个用户发送的消息都被发送到同一个分区上 。经过分区之后,consumer就可以有目的的消费某个分区的消息。

异步发送
批量发送可以很有效的提高发送效率。Kafka producer的异步发送模式允许进行批量发送,先将消息缓存在内存中,然后一次请求批量发送出去。 这个策略可以配置的,比如可以指定 缓存的消息达到某个量 的时候就发出去,或者 缓存了固定的时间 后就发送出去(比如100条消息就发送,或者每5秒发送一次)。这种策略将大大减少服务端的I/O次数。