rocketmq 压测参数调优

曾经终败给现在 2023-07-11 05:45 10阅读 0赞

#### 更新 ####

**以下压测内容已作废**,rocketmq的tps上不来的核心问题,应该和我使用的VirtualBox的网卡配置有关系,因为网卡或者网络的抖动,导致TPS一直上不去,把虚拟网卡从intel的千M改为virtio以后,现在的TPS已经到16000左右(单broker使用16G内存下,128个线程的生产者)

#### 系统配置 ####

版本 rocketmq 4.61 
    服务器 18G内存 VM   4核
    运行方式  官方最小集群   1个nameserver进程  3个 broker进程
    压测方式 : 基于官方生产者程序,改造为64个线程的生产者.
    备注:使用官方推荐的G1做回收器

#### 原始JVM参数 ####

-server -Xmx5g -Xms5g -XX:MaxGCPauseMillis=30 -XX:+UseG1GC -XX:G1HeapRegionSize=8m -XX:G1ReservePercent=25 
    -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0 -verbose:gc 
    -Xloggc:/dev/shm/rmq_broker_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps 
    -XX:+PrintGCApplicationStoppedTime -XX:+PrintAdaptiveSizePolicy -XX:+UseGCLogFileRotation 
    -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m -XX:-OmitStackTraceInFastThrow -XX:+AlwaysPreTouch 
    -XX:MaxDirectMemorySize=15g -XX:-UseLargePages -XX:-UseBiasedLocking

<table> 
 <thead> 
  <tr> 
   <th>JVM主要参数 (Broker)</th> 
   <th>系统Load(5分钟)</th> 
   <th>内存占用/总内存</th> 
   <th>Broker TPS</th> 
   <th>年轻代 GC 次数</th> 
   <th>年轻代 GC 次数</th> 
   <th>平均gc耗时</th> 
   <th>生产者 等待</th> 
   <th>生产者报错</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Xmx5g -Xms5g -XX:MaxGCPauseMillis=30</td> 
   <td>13.6</td> 
   <td>16.3G / 17.6G</td> 
   <td>2 679</td> 
   <td>64</td> 
   <td>829</td> 
   <td>13.1 ms</td> 
   <td>0</td> 
   <td>无</td> 
  </tr> 
  <tr> 
   <td>Xmx5g -Xms5g -XX:MaxGCPauseMillis=60</td> 
   <td>13.13</td> 
   <td>16.3G / 17.6G</td> 
   <td>2 569</td> 
   <td>64</td> 
   <td>770</td> 
   <td>12.03 ms</td> 
   <td>0</td> 
   <td>无</td> 
  </tr> 
  <tr> 
   <td>Xmx5g -Xms5g</td> 
   <td>12.13</td> 
   <td>16.4G / 17.6G</td> 
   <td>2 355</td> 
   <td>-</td> 
   <td>-</td> 
   <td>-</td> 
   <td>-</td> 
   <td>broker busy, start flow control for a while</td> 
  </tr> 
 </tbody> 
</table>