0


kafka 是如何清理过期数据

kafka 将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。

数据清理的方式

****1、删除 ****

log.cleanup.policy=delete启用删除策略

直接删除,删除后的消息不可恢复。可配置以下两个策略:

#清理超过指定时间清理: log.retention.hours=16

#超过指定大小后,删除旧的消息: log.retention.bytes=1073741824

为了避免在删除时阻塞读操作,采用了copy-on-write形式的实现,删除操作进行时,读取操作的二分查找功能实际是在一个静态的快照副本上进行的,这类似于 Java 的 CopyOnWriteArrayList。

****2、压缩 ****

将数据压缩,只保留每个 key 最后一个版本的数据。

首先在 broker 的配置中设置log.cleaner.enable=true启用 cleaner,这个默认是关闭的。

在 topic 的配置中设置log.cleanup.policy=compact启用压缩策略。

标签: kafka java 分布式

本文转载自: https://blog.csdn.net/qq_41982570/article/details/129261810
版权归原作者 高个子男孩 所有, 如有侵权,请联系我们删除。

“kafka 是如何清理过期数据”的评论:

还没有评论