0


kafka-producer batch.size与linger.ms参数

Kafka

需要在吞吐量和延迟之间取得平衡,可通过下面两个参数控制。


batch.size

  • 当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互. 而不是一条条发送
  • 批次大小可通过batch.size参数设置。默认:16KB
  • 较小的批次大小有可能降低吞吐量。(设置为0则完全禁用批处理)
  • 非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。

例子
比如说发送消息的频率是每秒300条,那么如果将batch.size调节到32KB,或64KB,是否可以提升发送消息的整体吞吐量呢。

因为理论上来说,提升batch的大小,可以允许更多的数据缓冲在里面,那么一次Request发送出去的数据量就更多了,这样吞吐量可能会有所提升。

但这个值也不能无限的大,过于大了之后,要是数据老是缓冲在Batch里迟迟不发送出去,那么岂不是你发送消息的延迟就会很高。

比如说,一条消息进入了Batch,但是要等待5秒钟Batch才凑满了64KB,才能发送出去。那这条消息的延迟就是5秒钟。

所以需要在这里按照生产环境的发消息的速率,调节不同的Batch大小自己测试一下,根据最终出去的吞吐量以及消息的延迟,设置一个最合理的参数。


linger.ms

上面比如设置batch.size为32KB,但是有的时刻消息比较少,过了很久,比如5min也没有凑够32KB,这时延时就很大,所以需要一个参数. 再设置一个时间,到了这个时间,即使数据没达到batch.size的值,也要将这个批次发送出去。比如设置5ms,就是到了5ms,批次大小还没到32KB,也会发出去。

总结

  • 同时设置batch.sizelinger.ms,就是哪个条件先满足就都会将消息发送出去。
  • Kafka需考虑高吞吐量延时的平衡。
标签: kafka 分布式

本文转载自: https://blog.csdn.net/wangshiqi666/article/details/129666718
版权归原作者 王雀跃 所有, 如有侵权,请联系我们删除。

“kafka-producer batch.size与linger.ms参数”的评论:

还没有评论