Kafka【二】关于消费者组(Consumer Group)、分区(partition)和副本(replica)的理解

Apache Kafka 是一个分布式流处理平台,它允许你发布和订阅记录流,存储记录流,并且可以对这些记录流进行处理。在 Kafka 中,消息被发布到特定的主题(topic),然后由消费者(consumer)订阅并消费这些消息。消费者组(Consumer Group)是 Kafka 中的一个重要概念

Kafka 入门到起飞 - Kafka怎么做到保障消息不会重复消费的? 消费者组是什么?

如果上面结构还不够,两个消费者消费速度依然跟不上,那么我们还可以继续添加消费者,添加到4个消费者,此时主题分区与消费者的关系再次发生变化,需要再平衡,此时一个消费者消费一个分区消息,达到并行消费的效果。如上图,当前只有一个消费者组订阅这个Topic,消费者组里只有一个消费者,那么当前Topic中所有

Kafka消费者组整合代码实现分区分配策略以及offset使用场景

分区分配策略、Range、RoundRobin、Sticky 以及再平衡、offset 位移、自动提交offset、手动提交 offset、指定 Offset 消费、指定时间消费、漏消费和重复消费、消费者事务、数据积压

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈