0


Kafka 消息过期策略(时间相关参数)

Kafka 消息过期策略(时间相关参数)
标记delete时效
(CDH配置项)log.retention.ms
(Kafka offset配置)retention.ms

标记delete的真删底层文件
delete.delay.ms
log.segmetn.delete

背景:在不需要重启kafka的情况下,需要针对特定的topic做消息过期时间配置
本人通过kafka offset工具只做了如下测试:
在新建topic的时候附加 retention.ms=1小时的毫秒数 这样的配置,
retention.ms=1小时的毫秒数,delete.retention.ms=7天的毫秒数,segment.ms=7天的毫秒数
在这种配置下,retention.ms=1小时的毫秒数 生效,kafka offset中数据已经不可见,flink也无法消费到数据

kafka offet配置
在这里插入图片描述

数据已经不可见
在这里插入图片描述
可以看到flink日志 offset有偏移量
在这里插入图片描述

但是flink已经无非消费到
在这里插入图片描述

标签: flink

本文转载自: https://blog.csdn.net/qq_40700727/article/details/127864647
版权归原作者 少年阿宏 所有, 如有侵权,请联系我们删除。

“Kafka 消息过期策略(时间相关参数)”的评论:

还没有评论