1.背景介绍
Apache Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（page views, searches, and other user actions）都被吞吐到kafka的主题（topic）中，处理后被实时（或者其他方式）处理，存储到Hadoop或者其他数据库中，供后续的机器学习，优化，分析，推荐等操作。
在使用Kafka进行消息消费的过程中，一个重要的概念就是Offset。Offset是每个消息在Kafka内部的位置标识，消费者通过持续跟踪每个分区的Offset，来确保消息的正确消费。然而，对于Offset的管理方式，Kafka提供了两种方式，即手动提交和自动提交。这两种方式各有优缺点，适应的场景也不同。本文将详细介绍这两种Offset管理方式，以及如何在实际项目中进行选择和实施。
2.核心概念与联系
在深入了解手动提交与自动提交之前，我们首先需要理解Kafka中的一些核心概念。
2.1 Kafka的基本概念
- Producer：消息和数据的生产者，向Kafka的一个topic发布消息的过程叫做producers。
- Consumer：消息和数据的消费者，从Kafka的一个topic读取消息的过程叫做consumers。
- Consumer Group：每一组Consumer属于一个特定的Consumer Group（可为每个Consume
本文转载自: https://blog.csdn.net/2401_85133351/article/details/139427600
版权归原作者 AI大模型应用之禅 所有， 如有侵权，请联系我们删除。
版权归原作者 AI大模型应用之禅 所有， 如有侵权，请联系我们删除。