Kafka 中消息保留策略详解

个人名片

🎓作者简介：java领域优质创作者
🌐个人主页：码农阿豪
📞工作室：新空间代码工作室（提供各种软件服务）
💌个人邮箱：[2435024119@qq.com]
📱个人微信：15279484656
🌐个人导航网站：www.forff.top
💡座右铭：总有人要赢。为什么不能是我呢？

• 专栏导航：

码农阿豪系列专栏导航
面试专栏：收集了java相关高频面试题，面试实战总结🍻🎉🖥️
Spring5系列专栏：整理了Spring5重要知识点与实战演练，有案例可直接使用🚀🔧💻
Redis专栏：Redis从零到一学习分享，经验总结，案例实战💐📝💡
全栈系列专栏：海纳百川有容乃大，可能你想要的东西里面都有🤸🌱🚀

目录

Kafka 中消息保留策略详解

Kafka 是一个分布式流处理平台，它允许用户发布、订阅、存储和处理消息流。在 Kafka 中，消息的保留策略是一个重要的概念，它决定了消息在 Kafka 中被保留的时长或大小限制，从而影响到数据的可用性、存储成本和系统性能。本文将深入探讨 Kafka 的消息保留策略，包括如何配置和管理 Kafka topic 的消息保留时长，并讨论一些最佳实践。

一、Kafka 消息保留策略概述

Kafka 的消息保留策略主要有以下几种：

1. 基于时间的保留策略：通过配置消息的保留时长来控制消息在 Kafka 中存留的时间。超过保留时长的消息将会被删除。
2. 基于大小的保留策略：通过配置保留的最大日志大小来限制消息的存储。当日志大小超过配置的限制时，旧的消息将会被删除。
3. 组合策略：可以同时配置时间和大小限制，当任何一个限制条件满足时，Kafka 都会删除旧消息。

Kafka 默认保留所有消息，不论是否被消费。但通过保留策略，Kafka 可以自动清理过期或超出大小限制的消息，这在控制存储成本和维护系统性能方面起着至关重要的作用。

二、如何设置 Kafka Topic 的消息保留时长

Kafka 提供了多种方式来设置和管理 topic 的消息保留时长，具体方法如下：

1. 通过命令行工具配置

在 Kafka 中，可以通过命令行工具

kafka-topics.sh

和

kafka-configs.sh

来设置和修改 topic 的配置。

• 创建 Topic 时设置保留时长当你创建一个新的 topic 时，可以直接指定消息的保留时长。例如：kafka-topics.sh --create--topic your_topic_name --bootstrap-server your_kafka_broker --configretention.ms=86400000上述命令中，retention.ms=86400000 设置消息的保留时长为 1 天（即 86400000 毫秒）。retention.ms 参数的值表示消息从被写入 Kafka 到被删除的时间间隔。
• 修改已有 Topic 的保留时长如果你需要调整已经存在的 topic 的消息保留时长，可以使用 kafka-configs.sh 工具。例如：kafka-configs.sh --alter --entity-type topics --entity-name your_topic_name --add-config retention.ms=172800000 --bootstrap-server your_kafka_broker这个命令将指定 topic 的保留时长修改为 2 天（即 172800000 毫秒）。--alter 命令可以动态地调整 Kafka topic 的配置，而无需重启服务或中断现有数据流。

2. 修改 Kafka 配置文件

Kafka 的配置文件（通常是

server.properties

）也允许设置默认的消息保留时长。这些配置将作为 Kafka 中所有没有特别指定保留策略的 topic 的默认值。

• 在配置文件中设置默认保留时长在 Kafka 的配置文件中，可以使用以下参数来设置默认的消息保留时间：log.retention.hours=168 # 设置默认的消息保留时长为 168 小时（7 天）或者你可以使用更精确的毫秒单位：log.retention.ms=604800000 # 设置保留时长为 7 天（604800000 毫秒）如果你想基于存储大小来控制消息保留，可以配置以下参数：log.retention.bytes=1073741824 # 设置保留大小为 1 GB
• 配置文件生效修改配置文件后，需重启 Kafka 服务使新配置生效。这些默认设置将应用于所有没有单独配置保留策略的 topic，是集群级别的全局设置。

三、Kafka 消息保留策略的其他相关配置

在设置消息保留时长的同时，还有一些其他相关的配置可以帮助更好地管理 Kafka 中的消息：

1. log.retention.check.interval.ms这个参数控制 Kafka 检查并删除过期消息的时间间隔。例如：log.retention.check.interval.ms=300000 # 每 5 分钟检查一次通过合理设置检查间隔，可以平衡系统性能和消息清理的及时性。
2. segment.ms 和 segment.bytes这些配置控制日志段的滚动策略，影响到消息在物理磁盘上的存储方式，从而间接影响消息的保留和删除。合理设置这些参数有助于优化 Kafka 的存储和性能。- segment.ms 控制日志段的滚动时间间隔。- segment.bytes 控制单个日志段的最大大小。

四、最佳实践和建议

在设置 Kafka 的消息保留策略时，需要考虑以下几个因素：

1. 根据业务需求设定合适的保留时长消息保留时长应根据业务需求来设定。例如，对于需要长期存储的数据，可以设定较长的保留时长；而对于短期数据或实时处理的场景，可以设定较短的保留时长以节省存储资源。
2. 监控存储空间和性能在设置保留策略时，需要监控 Kafka 集群的存储空间和性能。当存储空间接近限制时，可能需要调整保留时长或增加存储资源。
3. 定期检查和调整随着业务的发展和数据量的变化，Kafka 的消息保留策略也需要定期检查和调整。可以通过 Kafka 提供的监控工具来评估现有的保留策略是否合适，并根据需要进行优化。
4. 了解保留策略对消费者的影响消息保留策略的改变可能会影响 Kafka 消费者。例如，如果消息保留时长过短，可能会导致消费者无法及时消费数据。因此，在调整保留策略时，需确保消费者的消费能力和系统需求匹配。
5. 使用合理的保留策略组合对于不同的 topic，可以使用不同的保留策略组合。例如，可以对某些重要的 topic 使用较长的时间和较大的存储限制，而对不重要的数据使用较短的时间或较小的存储限制。合理的组合策略可以帮助优化 Kafka 的资源使用。

五、总结

Kafka 提供了灵活的消息保留策略，可以根据时间和大小来控制消息的保留。通过配置 Kafka 的

retention.ms

、

retention.bytes

等参数，可以精细地管理消息的生命周期。无论是通过命令行工具还是直接修改配置文件，都能实现对消息保留的控制。

为了更好地使用 Kafka 的消息保留策略，建议根据业务需求灵活配置，并结合监控工具进行定期调整。通过合理的策略，可以优化存储成本，提升系统性能，并确保消息在合适的时间范围内可用。希望本文能够帮助你更好地理解和配置 Kafka 的消息保留策略，从而更有效地管理 Kafka 集群中的数据。