Kafka系列之：Kafka存储数据相关重要参数理解

Kafka系列之：Kafka存储数据相关重要参数理解

一、log.segment.bytes

• 参数log.segment.bytes是Apache Kafka中的一个配置参数，它用于控制Kafka Broker在创建新的日志段文件时的大小。具体来说，它指定了一个日志段文件的最大大小，当一个日志段文件达到该大小时，Kafka Broker会创建一个新的日志段文件，并将新的消息写入其中。
• 这个参数的默认值是1GB，可以通过修改Kafka Broker的配置文件来进行调整。调整这个参数的值需要根据实际情况来确定，如果设置得过小，会导致频繁创建新的日志段文件，增加磁盘开销；如果设置得过大，会导致消息的延迟变大，影响系统的实时性。
• 总之，参数log.segment.bytes的作用是控制Kafka Broker在创建新的日志段文件时的大小，从而影响Kafka集群的性能和稳定性。

二、log.retention.bytes

• 参数log.retention.bytes是Apache Kafka中的一个配置参数，它用于控制Kafka Broker保留的日志段文件的总大小。具体来说，它指定了Kafka Broker在删除旧的日志段文件时所依据的策略。
• 当一个主题的日志段文件大小超过了参数log.retention.bytes的值时，Kafka Broker会开始删除最旧的日志段文件，直到总的日志段文件大小小于或等于log.retention.bytes的值。这样可以确保Kafka Broker保留的日志段文件总大小不会超过一定的限制，以防止磁盘空间被过度占用。
• 默认情况下，参数log.retention.bytes的值是-1，表示不