Kafka 消息过期策略(时间相关参数)
标记delete时效
(CDH配置项)log.retention.ms
(Kafka offset配置)retention.ms
标记delete的真删底层文件
delete.delay.ms
log.segmetn.delete
背景:在不需要重启kafka的情况下,需要针对特定的topic做消息过期时间配置
本人通过kafka offset工具只做了如下测试:
在新建topic的时候附加 retention.ms=1小时的毫秒数 这样的配置,
retention.ms=1小时的毫秒数,delete.retention.ms=7天的毫秒数,segment.ms=7天的毫秒数
在这种配置下,retention.ms=1小时的毫秒数 生效,kafka offset中数据已经不可见,flink也无法消费到数据
kafka offet配置
数据已经不可见
可以看到flink日志 offset有偏移量
但是flink已经无非消费到
版权归原作者 少年阿宏 所有, 如有侵权,请联系我们删除。