kafka0.10.1 内置性能测试（生产者和消费者吞吐量测试）

短命女 2022-04-15 01:42 574阅读 0赞

### 1、使用kafka-run-class脚本测试 ###

**生产者测试：**

kafka-run-class.sh:是kafka提供的测试Producer性能脚本，通过脚本，可以计算出Producer在一段时间内的平均延时和吞吐量。

./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic siger --num-records 50000000 --record-size 100 --throughput 100000 --producer-props acks=1 bootstrap.servers=siger-node2.siger.com:6667,siger-node4.siger.com:6667,siger-node6.siger.com:6667 buffer.memory=67108864 batch.size=8196

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTUzNjE5_size_16_color_FFFFFF_t_70][]

（*注：生产5000W条消息，batch大小1000，topic为siger，*kafka 的平均吞吐量是4.00 MB/sec ，即占用16Mb/s左右的带宽，平均每一秒发送约48000条消息。平均延时为11000.00ms，最大延时为12000.00 ms）

**消费者测试：**

./kafka-consumer-perf-test.sh --broker-list siger-node2.siger.com:6667,siger-node4.siger.com:6667,siger-node6.siger.com:6667 --message-size 100 --messages 50000000 --topic siger

![20181120103252591.png][]

*（注：消费50W条消息，每条1000字节，batch大小1000，topic为siger，1个线程。只用30.796秒完成，1s内消费了47.7290M数据，吞吐量为20.4057MB/s）*

### 2、使用perf命令来测试 ###

**生产者测试**

./kafka-producer-perf-test.sh --messages 500000 --message-size 1000  --batch-size 1000 --topics siger --threads 1 --broker-list siger-node2.siger.com:6667,siger-node4.siger.com:6667,siger-node6.siger.com:6667

./kafka-producer-perf-test.sh --messages 500000 --message-size 1000  --batch-size 1000 --topics siger --threads 1 --broker-list siger-node2.siger.com:6667,siger-node4.siger.com:6667,siger-node6.siger.com:6667

![20181120100440571.png][]  
*（注：生产50W条消息，每条1000字节，batch大小1000，topic为siger，1个线程（message size设置太大需要调整相关参数，否则容易OOM）。只用了14.637秒完成，kafka在多分区支持下吞吐量是非常给力的。）*

**消费者测试：**

./kafka-consumer-perf-test.sh --zookeeper siger-master.siger.com:2181,siger-node2.siger.com:2181,siger-node4.siger.com:2181,siger-node5.siger.com:2181,siger-node6.siger.com:2181,siger-node7.siger.com:2181,siger-node1.siger.com:2181 --group test-teg1 --messages 50000000 --topic siger --threads 1 --message-size 1000

![20181120100908972.png][]

*（注：消费50W条消息，每条1000字节，batch大小1000，topic为siger，1个线程（message size设置太大需要调整相关参数，否则容易OOM）。只用了1.696秒完成）*

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTUzNjE5_size_16_color_FFFFFF_t_70]: /images/20220415/07c5ed66c950457c8771d588adbb1091.png
[20181120103252591.png]: /images/20220415/67534b9f9f8e4ab8aaf1a766b15463aa.png
[20181120100440571.png]: /images/20220415/11ca3cdb0dba4791aad286f98c42f3d4.png
[20181120100908972.png]: /images/20220415/915d1a34cabb419da5fd36932fa1b1f7.png