5.【kafka运维】生产者消费组压力测试运维(5)

青旅半醒 2022-09-03 02:24 14阅读 0赞

### 文章目录 ###

*   *  1.生产者压力测试kafka-producer-perf-test.sh
     *  2.消费者压力测试kafka-consumer-perf-test.sh
     *  More

> **日常运维** 、**问题排查** 怎么能够少了滴滴开源的  
> [滴滴开源LogiKM一站式Kafka监控与管控平台][LogiKM_Kafka]

## 1.生产者压力测试kafka-producer-perf-test.sh ##

**1. 发送1024条消息`--num-records 100`并且每条消息大小为1KB`--record-size 1024` 最大吞吐量每秒10000条`--throughput 100`**

> sh bin/kafka-producer-perf-test.sh --topic test\_create\_topic4 --num-records 100 --throughput 100000 --producer-props bootstrap.servers=localhost:9092 --record-size 1024

你可以通过[LogIKM][]查看分区是否增加了对应的数据大小  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70]  
从[LogIKM][] 可以看到发送了1024条消息; 并且总数据量=1M; 1024条\*1024byte = 1M;

**2. 用指定消息文件`--payload-file`发送100条消息最大吞吐量每秒100条`--throughput 100`**

1.  先配置好消息文件`batchmessage.txt`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70 1]
2.  然后执行命令  
    发送的消息会从`batchmessage.txt`里面随机选择; 注意这里我们没有用参数`--payload-delimeter`指定分隔符，默认分隔符是\\n换行;
    
    > bin/kafka-producer-perf-test.sh --topic test\_create\_topic4 --num-records 1024 --throughput 100 --producer-props bootstrap.servers=localhost:9090 --payload-file config/batchmessage.txt
3.  验证消息，可以通过 [LogIKM][] 查看发送的消息
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70 2]

--------------------

相关可选参数

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>描述</th> 
   <th>例子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--topic</code></td> 
   <td>指定消费的topic</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--num-records</code></td> 
   <td>发送多少条消息</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--throughput</code></td> 
   <td>每秒消息最大吞吐量</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--producer-props</code></td> 
   <td>生产者配置, k1=v1,k2=v2</td> 
   <td><code>--producer-props</code> bootstrap.servers= localhost:9092,client.id=test_client</td> 
  </tr> 
  <tr> 
   <td><code>--producer.config</code></td> 
   <td>生产者配置文件</td> 
   <td><code>--producer.config</code> config/producer.propeties</td> 
  </tr> 
  <tr> 
   <td><code>--print-metrics</code></td> 
   <td>在test结束的时候打印监控信息,默认false</td> 
   <td><code>--print-metrics</code> true</td> 
  </tr> 
  <tr> 
   <td><code>--transactional-id</code></td> 
   <td>指定事务 ID，测试并发事务的性能时需要，只有在 --transaction-duration-ms &gt; 0 时生效，默认值为 performance-producer-default-transactional-id</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--transaction-duration-ms</code></td> 
   <td>指定事务持续的最长时间，超过这段时间后就会调用 commitTransaction 来提交事务，只有指定了 &gt; 0 的值才会开启事务，默认值为 0</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--record-size</code></td> 
   <td>一条消息的大小byte; 和 --payload-file 两个中必须指定一个，但不能同时指定</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--payload-file</code></td> 
   <td>指定消息的来源文件，只支持 UTF-8 编码的文本文件，文件的消息分隔符通过 <code>--payload-delimeter</code>指定,默认是用换行\nl来分割的，和 --record-size 两个中必须指定一个，但不能同时指定 ; 如果提供的消息</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--payload-delimeter</code></td> 
   <td>如果通过 <code>--payload-file</code> 指定了从文件中获取消息内容，那么这个参数的意义是指定文件的消息分隔符，默认值为 \n，即文件的每一行视为一条消息；如果未指定<code>--payload-file</code>则此参数不生效；发送消息的时候是随机送文件里面选择消息发送的;</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 2.消费者压力测试kafka-consumer-perf-test.sh ##

**消费100条消息`--messages 100`**

> sh bin/kafka-consumer-perf-test.sh -topic test\_create\_topic4 --bootstrap-server localhost:9090 --messages 100

--------------------

相关可选参数

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>描述</th> 
   <th>例子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--bootstrap-server</code></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--consumer.config</code></td> 
   <td>消费者配置文件</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--date-format</code></td> 
   <td>结果打印出来的时间格式化</td> 
   <td>默认：yyyy-MM-dd HH:mm:ss:SSS</td> 
  </tr> 
  <tr> 
   <td><code>--fetch-size</code></td> 
   <td>单次请求获取数据的大小</td> 
   <td>默认1048576</td> 
  </tr> 
  <tr> 
   <td><code>--topic</code></td> 
   <td>指定消费的topic</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--from-latest</code></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--group</code></td> 
   <td>消费组ID</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--hide-header</code></td> 
   <td>如果设置了,则不打印header信息</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--messages</code></td> 
   <td>需要消费的数量</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--num-fetch-threads</code></td> 
   <td>feth 数据的线程数(<code>废弃无效</code>)</td> 
   <td>默认：1</td> 
  </tr> 
  <tr> 
   <td><code>--print-metrics</code></td> 
   <td>结束的时候打印监控数据</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--show-detailed-stats</code></td> 
   <td>如果设置，则按照<code>--report_interval</code>配置的方式报告每个报告间隔的统计信息</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><code>--threads</code></td> 
   <td>消费线程数;(<code>废弃无效</code>)</td> 
   <td>默认 10</td> 
  </tr> 
  <tr> 
   <td><code>--reporting-interval</code></td> 
   <td>打印进度信息的时间间隔（以毫秒为单位）</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## More ##

Kafka专栏持续更新中…(源码、原理、实战、运维、视频、面试视频)

--------------------

[【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)\_石臻臻的杂货铺-CSDN博客][kafka_Kafka_-CSDN]

[【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,干货!!!非常干!!!建议收藏)][kafka]

[【kafka异常】kafka 常见异常处理方案(持续更新! 建议收藏)][kafka_kafka _]

[【kafka运维】分区从分配、数据迁移、副本扩缩容 (附教学视频)][kafka_]

[【kafka源码】ReassignPartitionsCommand源码分析(副本扩缩、数据迁移、副本重分配、副本跨路径迁移][kafka_ReassignPartitionsCommand]

[【kafka】点击更多…][kafka 1]

[LogiKM_Kafka]: https://github.com/didi/LogiKM
[LogIKM]: https://github.com/didi/Logi-KafkaManager
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70]: /images/20220829/a5ef5370cfde472ca088b87e0638fd20.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70 1]: /images/20220829/b883552ef0a64160affc7098c44faa4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY_size_16_color_FFFFFF_t_70 2]: /images/20220829/7bc29063e4cc456daf3ceb0f06610347.png
[kafka_Kafka_-CSDN]: https://blog.csdn.net/u010634066/article/details/118215928?spm=1001.2014.3001.5501
[kafka]: https://blog.csdn.net/u010634066/article/details/118631272?spm=1001.2014.3001.5501
[kafka_kafka _]: https://blog.csdn.net/u010634066/article/details/118105676?spm=1001.2014.3001.5501
[kafka_]: https://blog.csdn.net/u010634066/article/details/118028403?spm=1001.2014.3001.5501
[kafka_ReassignPartitionsCommand]: https://blog.csdn.net/u010634066/article/details/118051963
[kafka 1]: https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg4ODY1NTcxNg==&action=getalbum&album_id=1966026980307304450#wechat_redirect