当前位置: 代码迷 >> 综合 >> Kafka mirror实践
  详细解决方案

Kafka mirror实践

热度:71   发布时间:2024-01-24 18:17:57.0

mirror功能介绍可查看其他资源,本次只介绍实际部署案例,hostA和hostB上分别有两套单节点kafka集群,配置数据由hostA的topic同步至hostB的topic

 

1.配置两边的/etc/hosts,互通

2.在hostA节点创建mirror-consumer.properties  mirror-producer.properties

mirror-consumer.properties内容:

bootstrap.servers=hostA:9092
group.id=mirror

mirror-producer.properties内容:

bootstrap.servers=hostB:9092

3.在hostB节点创建相同mirror-consumer.properties  mirror-producer.properties文件

4.在hostA和hostB Kafka集群中都存在topic test_demo

5.在hostA启动mirror maker

kafka-mirror-maker.sh --consumer.config ~/mirror-consumer.properties --producer.config ~/mirror-producer.properties --whitelist "test_demo"

5.在hostB启动mirror maker

kafka-mirror-maker.sh --consumer.config ~/mirror-consumer.properties --producer.config ~/mirror-producer.properties --whitelist "test_demo"

 

6.测试

在hostA集群中生产数据到test_demo

 kafka-console-producer.sh --broker-list hostA:9092 --topic test_demo

在hostB集群中消费test_demo

kafka-console-consumer.sh --bootstrap-server hostB:9092  --from-beginning --topic test_demo