kafka构成和参数详解避坑

kafka构成和参数详解避坑

组成

1. broker 节点
2. topic 主题
3. partition 分区1. 一个topic多个分区，保存不同消息2. 各分区内有序，分区间无序
4. replica 副本 一个分区多个副本保存相同消息1. 1个leader负责读写2. 其它follower负责和leader同步消息 1. followe去pull的方式3. AR 1. Assigned Replicas2. 全部副本统称AR4. ISR 1. in-sync replicas2. 和leader保持同步的follower 包括leader 1. 有一定的滞后(follower pull)3. 这里的follower才有资格竞选leader4. 会被用于写入数据时的可靠性和性能的平衡5. OSR 1. out-of-sync replicas2. 滞后leader太多的副本3. 正常应该为06. AR=ISR+OSR 1. leader会维护和跟踪副本的滞后状态2. 滞后多的副本从ISR剔除到OSR3. OSR同步跟上的会加入ISR
5. HW和LEO1. 注意 和已写入offset有+12. HW 对分区而言 1. high watermark高水位线,2. 所有ISR副本中最小的LEO3. 消费者只能拉到分区HW之前的数据3. LEO 对副本而言 1. log end offset 下一条写入的offset2. ISR副本内当前最后一条消息的offset+1

broker 节点

broker参数

1. auto.create.topics.enable1. 默认true2. topic不存在时自动创建topic
2. num.partitions1. 默认12. 分区数
3. default.replication.factor1. 默认12. 副本数
4. message.max.bytes1. 最大消息量
5. log.message.timestamp.type1. 默认CreateTime2. 消息的时间戳类型,可选logAppendTime

topic

topic参数

与topic相关的所有配置参数在 broker 层面都有对应参数

1. max.message.bytes 1. broker中参数为message.max.bytes
2. messa