Kafka压力测试

使用工具

官方自带kafka-producer-perf-test.sh

kafkaManager

linux网络带宽监控工具sar

1. kafka写入性能测试

分别使用10、15、20、25、30个生产者进行测试

测试命令：

nohup kafka/bin/kafka-producer-perf-test.sh --topic test4 --num-records 100000000 --record-size 1000 --throughput 200000 --producer-props bootstrap.servers=node49:9092,node51:9092,node52:9092,node53:9092,node54:9092,node55:9092,node57:9092,node58:9092 --producer.config ./producer.properties &

配置文件

cat producer.properties

compression.type=lz4
request.timeout.ms=10000
linger.ms=25
max.request.size=5242880
retries=0
batch.size=524288
buffer.memory=134217728
acks=1

1.1 10个生产者

查看流量占用情况:

带宽：57835KB=56.5MB=451.6Mb/s

查看生产者吞吐

吞吐率：169W/s

1.2 15个生产者

查看流量占用情况:

带宽：79678KB=77.8MB=622Mb/s

查看生产者吞吐:

吞吐率: 265W/s

1.3 20个生产者

查看流量占用情况:

带宽：109494KB=106.9MB=855Mb/s

查看生产者吞吐:

吞吐率: 366W/s

1.4 25个生产者

查看流量占用情况:

带宽：118917KB=116MB=929Mb/s

查看生产者吞吐:

吞吐率: 410W/s

1.5 30个生产者

查看流量占用情况:

带宽：111780KB=109MB=872Mb/s

查看生产吞吐率:

吞吐率： 399W/s

此时网络带宽已达上限，在增加生产者会增大延迟，并且生产吞吐会降低

结论：千兆网卡客户端网络流量达上限，Kafka集群生产吞吐为410W条/秒

2. kafka消费性能测试

分别使用5、10、15、20个消费者进行测试

测试命令：

nohup kafka/bin/kafka-consumer-perf-test.sh --broker-list node49:9092,node51:9092,node52:9092,node53:9092,node54:9092,node55:9092,node57:9092,node58:9092 --topic test4  --messages 100000000 --threads 400000 --consumer.config ./consumer.properties --group=test10 &

配置文件

cat consumer.properties

group.id=test-consumer-group
fetch.min.bytes=6553600
fetch.max.wait.ms=1000
auto.commit.interval.ms=1000
auto.offset.reset=earliest
enable.auto.commit=true
max.poll.interval.ms=600000

2.1 5个消费者

查看流量占用情况:

带宽：67457KB=65MB=520Mb/s

等待5个消费者执行结果:

共消费数据大小: 476837.158MB

每秒消费数据大小: 1854.7501MB

总共消费条数: 5亿条

每秒消费条数: 1944846条

2.2 10个消费者

查看流量占用情况:

带宽：120490KB=118MB=944Mb/s

等待10个消费者执行结果:

共消费数据大小: 953678.789MB

每秒消费数据大小: 4107.8406 MB

总共消费条数: 10亿条

每秒消费条数: 4307383条

2.3 15个消费者

查看流量占用情况:

带宽：120470KB=118MB=944Mb/s

等待15个消费者执行结果:

共消费数据大小: 1430516.538MB

每秒消费数据大小: 4216.4496MB

总共消费条数: 15亿条

每秒消费条数: 4421268条

2.4 20个消费者

查看流量占用情况:

带宽：120484KB=118MB=944Mb/s

等待20个消费者执行结果:

共消费数据大小: 1907356.644MB

每秒消费数据大小: 4271MB

总共消费条数: 20亿条

每秒消费条数:4478387条

结论：千兆网卡客户端网络流量达上限，Kafka集群消费吞吐为445W条/秒