jmeter压测websocke指南，接入arms分析，以及mysql，jvm，tomcat性能调优

柔光的暖阳◎ 2022-10-14 01:17 34阅读 0赞

### 文章目录 ###

*  注意，受到本地主机的带宽，cpu核心数，磁盘空间影响，建议服务器压测
 *  配置线程数
 *  设置http请求
 *  设置请求头信息
 *  设置断言
 *  察看结果树
 *  每个线程300ms后执行
 *  配置计数器变量引用
 *  汇总报告
 *  压测结果
 *  设置常数吞吐量定时器
 *  java.net.BindException: Address already in use: connect
 *  mysql sleep线程数过多
 *  配置websocket
 *  websocket连接直接断开
 *  ARMS接入
 *   *  找到耗时接口
     *  点击traceId
     *  点击详情
     *  点击方法栈，找到耗时方法
     *  发现数据库地响应很快，分析堆栈信息
     *  数据库情况
     *  找到原因
     *  解决方法
 *  配置数据库连接数
 *  优化tomcat
 *  优化JVM
 *  解决方案：
 *  压测
 *  jmeter卡住不动
 *   *  问题：k8s网关。
 *  优化参数
 *   *  tomcat
     *  数据库
     *  压测机
     *  其它
 *  解决方案
 *  生成报告
 *   *  dashboard
     *  charts
     *   *  Over Time
         *  Throughput
         *  Response Times
 *  压测结果
 *   *  12台机器压测
 *  lb问题

# 注意，受到本地主机的带宽，cpu核心数，磁盘空间影响，建议服务器压测 #

# 配置线程数 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70]

# 设置http请求 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 1]

# 设置请求头信息 #

![在这里插入图片描述][20210609190308531.png]

# 设置断言 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 2]

# 察看结果树 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 3]

# 每个线程300ms后执行 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 4]

# 配置计数器变量引用 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 5]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 6]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 7]

https://wjqwsp.github.io/2016/08/29/jmeter%E5%8E%8B%E5%8A%9B%E6%B5%8B%E8%AF%95%E5%9F%BA%E7%A1%80/

# 汇总报告 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 8]

# 压测结果 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 9]

qps限制器

Constant Throughput Timer 的主要属性介绍：

**名称** ：定时器的名称

**Target throughput（in samples per minute）**：目标吞吐量。注意这里是每分钟发送的请求数，因此，对应测试需求中所要求的20 QPS ，这里的值应该是1200 。

**Calculate Throughput based on** ：有5个选项，分别是：

This thread only ：控制每个线程的吞吐量，选择这种模式时，总的吞吐量为设置的 target Throughput 乘以矣线程的数量。

All active threads ： 设置的target Throughput 将分配在每个活跃线程上，每个活跃线程在上一次运行结束后等待合理的时间后再次运行。活跃线程指同一时刻同时运行的线程。

All active threads in current thread group ：设置的target Throughput将分配在当前线程组的每一个活跃线程上，当测试计划中只有一个线程组时，该选项和All active threads选项的效果完全相同。

All active threads （shared ）：与All active threads 的选项基本相同，唯一的区别是，每个活跃线程都会在所有活跃线程上一次运行结束后等待合理的时间后再次运行。

All cative threads in current thread group （shared ）：与All active threads in current thread group 基本相同，唯一的区别是，每个活跃线程都会在所有活跃线程的上一次运行结束后等待合理的时间后再次运行。

如上图，该元件仅作用于fnng.cnblogs.com ，设置定时器的Target throughput为1200/分钟（20 QPS），设置Calculate Throughput based on 的值为All active threads 。

当然，Constant Throughput Timer只有在线程组中的线程产生足够多的request 的情况下才有意义，因此，即使设置了Constant Throughput Timer的值，也可能由于线程组中的线程数量不够，或是定时器设置不合理等原因导致总体的QPS不能达到预期目标。

# 设置常数吞吐量定时器 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 10]

# java.net.BindException: Address already in use: connect #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 11]

**问题描述**：在window环境下使用JMeter进行高并发压测时，会出现在压测一段时间后，忽然JMeter僵死出现大量的java.net.BindException Address already in use报错

**问题原因**：window本地的连接数不够用（相当于tcpip连接配置没有调优）

**问题解决**：

1.cmd中，用regedit命令打开

表

2.在 HKEY\_LOCAL\_MACHINE\\SYSTEM\\CurrentControlSet\\Services\\Tcpip\\Parameters下，

1）右击parameters，添加一个新的DWORD，名字为**MaxUserPort**

2）*然后双击***MaxUserPort**，输入数值数据为65534，基数选择十进制

3.同时建议也修改Time\_Wait参数

添加名为TcpTimedWaitDelay的DWORD键,设置为30,以缩短TIME\_WAIT的等待时间

***4.一定要记得重启电脑（修改完成的后，单台服务器可以支持1.5-2K的并发/TPS压测）***  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 12]

https://blog.csdn.net/wxlbrxhb/article/details/38817089

https://www.cnblogs.com/dwdw/p/10818524.html

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 13]

https://www.cnblogs.com/imyalost/p/6004678.html

# mysql sleep线程数过多 #

原因

**造成睡眠连接过多的原因？**

1.　使用了太多持久连接（个人觉得，在高并发系统中，不适合使用持久连接）

2.　程序中，没有及时关闭mysql连接

3.　数据库查询不够优化，过度耗时。

show global variables like’wait\_timeout’;

SHOW VARIABLES LIKE “%wait\_timeout%”;

set global wait\_timeout=30;

SHOW FULL PROCESSLIST;

SHOW PROCESSLIST;

SHOW global VARIABLES LIKE “interactive\_timeout”;

SHOW VARIABLES LIKE “interactive\_timeout”;

set global interactive\_timeout=30;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 14]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 15]  
![在这里插入图片描述][20210609190552176.png]

mysqladmin -h10.0.0.1 -pxxx processlist | grep xxxx | awk ‘\{print $2\}’ | egrep ‘\[0-9\]’ | xargs -i mysqladmin -h10.0.0.1 -udev -p’xxx’ kill \{\}

# 配置websocket #

下载插件管理器

lib/ext 插件放置地方

https://jmeter-plugins.org/install/Install/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 16]

**1、Streaming Connection 勾选与否的影响**

线程组设置 1 个并发，循环 2 次。  
2 个 websocket sample 请求都不勾选 Streaming Connection  
发现每次请求都会 opening new connection。

![img][]\](https://testerhome.com/uploads/photo/2018/ee3d0370-ef38-4376-9d2c-9f8b18cd21b9.jpeg!large)

都勾选  
发现 4 个请求都在同一个 connection 中

[![img][img 1]][img_img 1]  
[![img][img 2]][img_img 2]

1、WebServer

（1）Server Name or IP：WebSocket 发送的目标服务器的地址或者名称  
（2）Port Number：WebSocker 服务器监听的端口号。  
2、Timeout:  
（1）Connection 发送一个连接请求后，Jmeter 等待连接完成的最长时间，单位是毫秒。  
（2）Response 对响应消息的最大等待时间。

3、WebSocket Request  
（1）Implementation：只支持 RFC6455(v13) ，WebSocket 协议标准的最新版。

（2）Protocol：有 ws 与 wss 之分， ws 前缀是 WebSocket 连接的辨别标识，wss 前缀是 WebSocket 安全连接的辨别标识。根据自己的实际情况填写  
（3）Streaming Connection ：TCP session 要不要保持，如果勾上标识连接会一直存在，如果没有勾上，那么得到第一次响应后该链接就会被关闭。  
（4）connection id：会话的 id 标志。  
（5）Request data：填入将要发送的请求，要跟开发沟通好，这个是什么格式的消息。

4.WebSocket Response

（1）Response Pattern – 采样器将等待含有该标识的消息并继续通信（或者直到 timeout，该连接关闭）  
（2）Close Connection Pattern – 如果服务器返回的消息含有这样的字符，就结束会话。  
（3）Message Backlog – 定义服务器返回消息保留的最大长度。

因此，当勾选了 streaming connection 时，不仅会在结束会话后保留连接，而且勾选了的 sampler 会在有可用连接是直接使用，而没有勾选的 sampler 即使存在可用连接也会重新打开一个新的连接。因此，如果是要在一个会话中发送多条消息，请勾选这个 streaming connection。

https://bitbucket.org/pjtr/jmeter-websocket-samplers/downloads/

下载websocket插件

# websocket连接直接断开 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 17]

netstat -ano 发现大量线程

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 18]

分别查看2个pid  
![在这里插入图片描述][20210609191512502.png]

netstat -ano|findstr 46888

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 19]

![在这里插入图片描述][2021060919152647.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 20]

# ARMS接入 #

## 找到耗时接口 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 21]

## 点击traceId ##

![在这里插入图片描述][20210609191610841.png]

## 点击详情 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 22]

## 点击方法栈，找到耗时方法 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 23]

## 发现数据库地响应很快，分析堆栈信息 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 24]

## 数据库情况 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 25]

## 找到原因 ##

主要是争抢jdbc连接资源，造成大量线程阻塞睡眠

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 26]

## 解决方法 ##

1.  加机器，分摊压力（治标不治本）
2.  优化项目线程数(需要知道数据库最大线程数配置多少，以及数据库对多少个服务进行提供，否则线程数配置过多，造成数据库线程不够，其它服务可能就线程资源没有了)

压力主要集中在mysql

方案一：引入redis，减少数据库读的压力，但是影响范围比较广。

方案二：目前读写都在同一个数据库，造成单库压力过大。加库。但是影响面比较广，比如还要考虑读库同步问题。

方案三：提升数据库性能。

# 配置数据库连接数 #

查看HikariConfig 数据库连接池  
![在这里插入图片描述][20210609192030504.png]

com.zaxxer.hikari.HikariConfig\#validateNumerics

可以看到默认10个

![在这里插入图片描述][20210609192038224.png]

![在这里插入图片描述][20210609192120462.png]

重新压测，发现吞吐没变。但是响应时间缩短一半。90%线程898响应。这个结果好了很多。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 27]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 28]

查看链路可知是因为线程过多，造成数据库争抢，所以相对应的数据库反而延迟了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 29]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 30]

仔细思考为什么线程数修改了，吞吐没变。主要是tomcat只能同时处理200线程数。

# 优化tomcat #

![在这里插入图片描述][20210609192257839.png]

# 优化JVM #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 31]

堆4G，采用cms吞吐回收器

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 32]

# 解决方案： #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 33]

# 压测 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 34]

使用长连接，多机器压测

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 35]

原因分析：tomcat连接数不够

# jmeter卡住不动 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 36]

压测机不行，处理不了。造成大量阻塞连接超时。tomcat平均响应20ms，能处理过来。

找到一个没调用数据库的接口去压测，发现无法突破1400瓶颈，是网关问题。直接访问tomcat，单机并发3000+。但是无法在继续上去，原因是带宽问题造成的。为验证猜想，于是本地启动。拿三台机器压测，并发6000+。

## 问题：k8s网关。 ##

1.修改jmeter.bat并重启，将其中的set HEAP=-Xms1g -Xmx1g -XX:MaxMetaspaceSize=256m进行更改。这个是最常见的解决方法。原理是线程卡死的原因是堆溢出导致，因此降低最小内存Xms，提升最大内存Xmx，注意Xmx>=Xms，Xms可修改范围256m，512m，1g等，对应的Xmx可修改范围为256m，512m，1g等。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 37]

2.在HTTP请求默认值中，设置响应超时(Response)以及连接超时(Connect)，单位是毫秒。原理是，当http请求的连接时间以及响应时间超过了所设置的响应超时(Response)以及连接超时(Connect)时，将该请求标记为err以处理线程卡死并处理下一条http请求。

3.减少后台应用，节省内存用于jmeter接口压力测试。关闭jemerGUI，仅仅保留cmd命令行以及goland服务端，重复上述步骤。结果依然无效。

4.关闭goland启用服务端，使用git bash开启服务端；关闭jemerGUI，仅仅保留cmd命令行；重装jmeter，保留原始设置\*\*(不设置最小内存以及最大内存，不设置超时)\*\*；桌面仅保留cmd命令行，其余窗口全部最小化。

# 优化参数 #

## tomcat ##

server.tomcat.max-threads 400  
server.tomcat.min-spare-threads 100  
.datasource.primary.maximumPoolSize 200

## 数据库 ##

set global wait\_timeout=30;

set global interactive\_timeout=30;

## 压测机 ##

提升端口限制

提升销毁空闲tcp时间

## 其它 ##

max-connections: 200 \# 默认值 max-connections-per-route: 50 \# 默认值

feign.httpclient.max-connections = 2000  
feign.httpclient.max-connections-per-route = 50  
hystrix.threadpool.default.maxQueueSize =  
hystrix.threadpool.default.coreSize =

# 解决方案 #

硬件层面

*  提升tomcat连接数
 *  提升mysql连接数
 *  提升ebean连接数
 *  jvm不需要调优
 *  提升数据库性能，加资源，加库。
 *  提升网络带宽

server.tomcat.max-threads 400  
server.tomcat.min-spare-threads 100  
xxx.datasource.primary.maximumPoolSize 200

代码层面

*  引入redis，减少数据库读的压力，但是影响范围比较广。(过期时间设置短点)
 *  数据库读写分离。缺点需要维护同步状态。另外需要注意，在同步数据期间，会存在redis缓存不一致情况。
 *  异步任务解耦

其它  
提高gateway并发量  
LB和k8s也要看看是不是这块限制了(感觉还是带宽受限)

# 生成报告 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 38]

jmeter -n -t D:\apache-jmeter-3.2\bin\test1.jmx  -l result.jtl -e -o D:\abc\HttpReport

# -n：以非GUI形式运行Jmeter 
    # -t：source.jmx 脚本路径 
    # -l：result.jtl 运行结果保存路径（.jtl）,此文件必须不存在 
    # -e：在脚本运行结束后生成html报告 
    # -o：用于存放html报告的目录

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 39]

## dashboard ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 40]

## charts ##

### Over Time ###

**①、Response Times Over Time（脚本运行期间的响应时间变化趋势图）**

说明：可以根据响应时间和变化和TPS以及模拟的并发数变化，判断性能拐点的范围。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 41]

**②、 Response Time Percentiles Over Time (successful responses)**

说明：脚本运行期间成功的请求响应时间百分比分布图，可以理解为聚合报告里面不同%的数据，图形化展示的结果。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 42]

**③、Bytes Throughput Over Time（脚本运行期间的吞吐量变化趋势图）**

说明：在容量规划、可用性测试和大文件上传下载场景中，吞吐量是很重要的一个监控和分析指标。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 43]

**④、 Latencies Over Time（脚本运行期间的响应延时变化趋势图）**

说明：在高并发场景或者强业务强数据一致性场景，延时是个很严重的影响因素。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 44]

### Throughput ###

**①、Transactions Per Second（每秒事务数）**

说明：每秒事务数，即TPS，是性能测试中很重要的一个指标，它是用来衡量系统处理能力的一个重要指标。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 45]

### Response Times ###

**①、 Response Time Percentiles（响应时间百分比分布曲线图）**

说明：即响应时间在某个范围内的请求在所有请求数中所占的比率，相比于平均响应时间，这个值更适合用来衡量系统的稳定性。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 46]

**②、Time Vs Threads（平均响应时间和线程数的对应变化曲线）**

说明：可以通过这个对应的变化曲线来作为确定性能拐点的一个参考值。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 47]

# 压测结果 #

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8IRRtahz-1623236549384)(C:\\Users\\GIGA25\\AppData\\Roaming\\Typora\\typora-user-images\\image-20210608125457413.png)\]

## 12台机器压测 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 48]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 49]

# lb问题 #

发现加机器后，吞吐也上不去。怀疑lb问题。找了腾讯客服，

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 50]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 51]

可能是源ip问题。于是分别从张家口阿里云机房和上海腾讯云机房找到了4台机器，进行压测。直接飙升吞吐。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70]: /images/20221014/c827b7649bff4af09c0ed780f93d6e43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 1]: /images/20221014/db7e88b6ac4f4256b6619515a8edcd5c.png
[20210609190308531.png]: /images/20221014/514b1ae6910740ebaf10cef77bf57187.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 2]: /images/20221014/07f8d58595b8465d98d9353cb6aa24a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 3]: /images/20221014/923dc9f9b07b41b2be6792840443379b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 4]: /images/20221014/4a7fb2c153284c62a268fc556428a19c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210609190339338.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210609190344300.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 7]: /images/20221014/9b7e4263a32c41ab95b6c37c2a3344fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 8]: /images/20221014/243400aed2924b94b396062d52647ad7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 9]: /images/20221014/0aabffa0615b450a901d74b640a3786c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 10]: /images/20221014/3734ab2d9fc6492296e2afb167c412c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 11]: /images/20221014/da97a518157f460e9ea7c225c95a13ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 12]: /images/20221014/f19214c7770e42e780c1a40b120fb8c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 13]: /images/20221014/bd66a0ed394e41c7b6b6f99eb5f2a8b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 14]: /images/20221014/d424c5ff6d394460a367b8f3672a768b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 15]: /images/20221014/313c106e232a493b9448a5d2b9ede596.png
[20210609190552176.png]: /images/20221014/b4e0bd7993d94099827e7432eda4f9df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 16]: /images/20221014/500b70791188405aaac138214f1c6cfd.png
[img]: /images/20221014/e6cd651f9b624563aa724c9126bda5a4.png
[img 1]: https://img-blog.csdnimg.cn/img_convert/d87022c3579f64e78559adea5ba1ae72.png
[img_img 1]: /images/20221014/778ab609f97f4a1aa0f615b4e1543087.png
[img 2]: https://img-blog.csdnimg.cn/img_convert/59535221c2a8ddda9a6ed334253efc61.png
[img_img 2]: /images/20221014/bc6a5b9710454d238f80cbcd65803f25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 17]: /images/20221014/971807b8e3274c42bd489810eec87308.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 18]: /images/20221014/216bb4cea5574797a986bdbbdb299546.png
[20210609191512502.png]: /images/20221014/b3314509313b45cf83411b8eb454ac0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 19]: /images/20221014/f2d1504b40b64b3196e8ca443c5a7a87.png
[2021060919152647.png]: /images/20221014/57debf9521d0496cb9761056ef69c46d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 20]: /images/20221014/ba9422a69590462789b9edb1ce6e7ae3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 21]: /images/20221014/bd232aa6a8f64c5aa7111747f457fcbf.png
[20210609191610841.png]: /images/20221014/d474b222e19544e78412638abbfde9e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 22]: /images/20221014/ab2ca34d4dea45459c59ec5bab5ae80d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 23]: /images/20221014/5c09e8711b7548a3ae6d3690affbee4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 24]: /images/20221014/a2ee6b8441dd470696beae6c5ba50f58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 25]: /images/20221014/528ac68a1fb740fba4e79902f1778d1c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 26]: /images/20221014/c7fa71f3ac7247988945504d4f00cb43.png
[20210609192030504.png]: /images/20221014/726b9ebb86324f1ba71806d8cea7d1be.png
[20210609192038224.png]: /images/20221014/9f06d26fbc804e8599ccd5e745559d61.png
[20210609192120462.png]: /images/20221014/95801e84ba7c47669eff01c3b90d32f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 27]: /images/20221014/ffa438c9a6e24ad9952fe30ba82d1845.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 28]: /images/20221014/27413568721544d8b41c0efc230df489.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 29]: /images/20221014/0d02a13cf88f418b8ced552417382bd8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 30]: /images/20221014/c1742fa418f74dec82a7e27cd3b2e323.png
[20210609192257839.png]: /images/20221014/7b5f4035837340fda4a68ce29d9c3eb7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 31]: /images/20221014/43665a904fce45b4b8430c6efc878e58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 32]: /images/20221014/f4241f99bed44a07b9b290a84f4b0a8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 33]: /images/20221014/ea1869fc16cf403fa63451dd2f9c32f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 34]: /images/20221014/25df97f9a534449cb6ad6e53c1965820.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 35]: /images/20221014/b7faf503a44c47aba8a218cffb18c214.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 36]: /images/20221014/a56a92035d7b4589ae899d81ee24dd29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 37]: /images/20221014/46a7ba466cdc4f2ca89b15ab38404885.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 38]: /images/20221014/e4d50202811a4d75ad8ba757b92c2750.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 39]: /images/20221014/8badb92ce54f4bc5889ea7bb689ae1ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 40]: https://img-blog.csdnimg.cn/20210609192613743.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 41]: https://img-blog.csdnimg.cn/20210609192628502.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 42]: https://img-blog.csdnimg.cn/20210609192635961.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 43]: https://img-blog.csdnimg.cn/20210609192644464.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 44]: https://img-blog.csdnimg.cn/20210609192652843.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 45]: https://img-blog.csdnimg.cn/20210609192659852.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 46]: https://img-blog.csdnimg.cn/20210609192707585.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 47]: https://img-blog.csdnimg.cn/2021060919271412.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 48]: https://img-blog.csdnimg.cn/20210609193313371.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 49]: https://img-blog.csdnimg.cn/2021060919335663.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 50]: https://img-blog.csdnimg.cn/20210611185459804.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw_size_16_color_FFFFFF_t_70 51]: https://img-blog.csdnimg.cn/20210611185508660.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L051YW5fRmVuZw==,size_16,color_FFFFFF,t_70