diff测试与流量回放测试

古城微笑少年丶 2023-01-23 11:49 15阅读 0赞

**一、Diffy**

简单来理解，`Diffy`是一个开源的自动化测试工具，是一种自动Diff测试技术。它能够自动检测基于Apache Thrift或者基于HTTP的服务。通过同时运行新/老代码，对比运行结果，发现潜在bug。并且使用Diffy，只需要进行简单的配置，而不需要再编写测试代码。

**二、Gor（GoReplay）**

Gor，又称为GoReplay，是采用Golang 编写的一个开源的 HTTP 实时流量复制工具。它只需要在 LB 或者 Varnish 入口服务器上执行一个进程，就可以把生产环境的流量复制到任何地方，比如 Staging 环境、Dev 环境。**常用于压测及线上问题复现**。其它引流测试常见方案。

目前不少公司对引流测试进行了实践探索，常见的有以下**4种引流方式**（不限）：

<table> 
 <tbody> 
  <tr> 
   <td colspan="1">引流方式</td> 
   <td colspan="1">实现方式</td> 
   <td colspan="1">优点</td> 
   <td colspan="1">缺点</td> 
  </tr> 
  <tr> 
   <td colspan="1"><strong>Nginx层流量复制</strong></td> 
   <td colspan="1">安装lua-nginx-module、ngxdevelkit、headers-more-nginx-module模块，通过lua脚本实现把请求复制给测试环境。</td> 
   <td colspan="1">安装和部署还较为简单。</td> 
   <td colspan="1">需要开发lua脚本，且对资源有一定占用。</td> 
  </tr> 
  <tr> 
   <td colspan="1"><strong>基于业务代码层的引流</strong></td> 
   <td colspan="1">将业务代码的调用封装成请求对象，异步的写入缓存中。引流工具通过读缓存中的请求，向测试环境发起请求。</td> 
   <td colspan="1">扩展性好，可定制化高。</td> 
   <td colspan="1">需要开发流量复制工具，工作量较大，且对工作本身的性能要求较高。</td> 
  </tr> 
  <tr> 
   <td colspan="1"><strong>基于访问日志回放</strong></td> 
   <td colspan="1">线上系统记录访问日志，引流工具通过解析日志，向测试环境发起请求。</td> 
   <td colspan="1">离线方式，对线上影响小。</td> 
   <td colspan="1">需要开发日志解析工具，且解析的开销会较大。</td> 
  </tr> 
  <tr> 
   <td colspan="1"><strong>基于TCP/IP层的引流</strong></td> 
   <td colspan="1">目前已开源的工具有TcpCopy</td> 
   <td colspan="1">安装、部署使用都较为简单。</td> 
   <td colspan="1">仅适合无状态的业务，且对业务请求需要进行过滤。</td> 
  </tr> 
 </tbody> 
</table>

**Gor工作流程**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzMzNzE4NTYz_size_16_color_FFFFFF_t_70][]

监听服务器捕获http流量并将其发送到重放服务器或保存到文件，重播服务器将流量转发给给定的地址。

注：Gor不是代理人，不需要将第三方工具放到关键路径上。相反，Gor只是默默地分析你的应用程序的流量，并不影响本身程序。

**Gor支持的常用功能**

1、Gor 支持流量的放大和缩小、频率限制，这样不需要搭建和生产环境一致的服务器集群也可以正确测试。

2、Gor 还支持根据正则表达式过滤流量，这意味着可以单独测试某个 API 服务。

3、Gor还可以修改 HTTP 请求头，比如替换 User-Agent, 或者增加某些 HTTP Header 。

4、Gor 还可以把请求记录到文件，以备回放和分析。**Gor 支持和 ElasticSearch 集成，将流量存入 ES 进行实时分析**。

**Gor 下载安装**

官网下载地址：https://github.com/buger/goreplay/releases 下载最新的Gor二进制文件（支持Windows，Linux x64和Mac OS提供预编译的二进制文件），或者可以自行编译。

获取gor版本：https://github.com/buger/goreplay/releases

源码地址：https://github.com/buger/goreplay

官方使用文档：https://github.com/buger/gor/wiki ![图片][7bbcc8dac285624caa365cd3e499a258.png]

**Gor 常用命令用法**

**可用输入：**

*  `--input-raw` - 用于捕获HTTP流量，您应该指定IP地址或接口和应用程序端口。有关捕获和重放流量的更多信息。
 *  `--input-file`\- 接受之前使用的文件`--output-file`。更多关于保存和从文件重播
 *  `--input-tcp` - 如果您决定将来自多个转发器Gor实例的流量转发给它，则由Gor聚合实例使用。阅读关于使用Aggregator-forwarder设置。

**可用输出：**

*  `--output-http` - 重放HTTP流量到给定的端点，接受基础URL。阅读\[关于它的更多信息\]（重播HTTP流量）
 *  `--output-file` - 记录传入的流量到文件。更多关于保存和从文件重播
 *  `--output-tcp`\- 将传入数据转发给另一个Gor实例，并与其一起使用`--input-tcp`。阅读关于Aggregator-forwarder设置的更多信息。
 *  `--output-stdout` - 用于调试，输出所有数据到stdout。

更多参数，可查阅官网文档。

**Gor 常用实践场景**

1、流量实时复制引流（--input-raw 拦截端口配合--output-http输出），例如将本机80端口的HTTP流量实时复制到targer\_server:8080。

gor --input-raw :80 --output-http "http://target_server:8080"

2、如果目标服务器使用的库与线上机器一样，且只需要引流Get方法的请求。

gor --input-raw :80  --http-allow-method GET --output-http "http://target_server:8080"

3、当需要对线上服务进行整体性能压测时，可将线上请求扩大N倍，进行引流，将请求扩大1倍，也可缩小，调整"|"后面的百分比即可。

gor --input-raw :80  --http-allow-method GET --output-http "http://target_server:8080|200%"

4、只复制某个URL请求，--http-allow-url参数，-http-allow-url参数可用正则表达式（--output-http-url-regexp在gor 0.16已经过期，使用--http-allow-url代替）。

gor --input-raw :8080 --http-allow-method GET --output-http "http://target_server:8080" --http-allow-url mall.*hotword

5、多目标服务器的流量复制引流，有点类似nginx的mirror。

gor --input-raw :80 --output-http "http://target_server:8080" --output-http "http://target_server2:8080"

6、将流量转发到多个端点，默认情况下，它会将相同的流量发送到所有输出。

gor --input-tcp :28020 --output-http "http://staging.com"  --output-http "http://dev.com"

7、将相同的流量发送到多个站点，并且平分所有流量。

gor --input-raw :80 --output-http "http://staging.com"  --output-http "http://dev.com" --split-output true

8、HTTP超时，默认情况下，http请求和响应的超时时间为5秒。你可以像这样覆盖它：

gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-timeout 30s

9、基本身份验证，如果您的开发或登台环境受基本身份验证保护，那么可以在重放期间注入这些凭据：

gor --input-raw :80 --output-http "http://user:pass@staging.com"

10、性能压力测试

可以将流量复制到文件，然后再对他们进行回放。回放的时候，流量会维持原始的时间间隔。如果你使用了百分比来进行速率限制，那么回放的速率会相应的增加或减少。有了这种速率限制，gor就可以用来进行压力测试。

gor --input-file "requests.gor|200%" --output-http "staging.com"

目前，`input-file`仅在使用基于百分比的限制器时才支持此功能。与默认限制器不同`input-file`，它不会降低请求速度，而会减慢速度或加速请求发射。

11 、录制与回放

./gor --input-raw :8000 --output-file=requests.gor

执行录制命令后，将会创建新文件并不断向其写入所有捕获的请求。

12、流量回放，重播来自文件的请求

./gor --input-file requests.gor --output-http="http://localhost:8001"

您应该看到所有记录到http://localhost:8001的请求，并且它们将以相同的顺序重播，并且与录制的时间完全相同。

gor的用法也远不止上述提到的这些，更多的应用测试场景，可查阅官网。

**参考：**

（1）推荐一款Diffy：Twitter的开源diff自动化测试工具：[基本介绍][Link 1]   [超详细实战讲解][Link 2]

（2）推荐一款简单易用**线上引流**测试工具：GoReplay：[基本介绍][Link 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzMzNzE4NTYz_size_16_color_FFFFFF_t_70]: /images/20221004/d23b5a1fbaa24f2299b10eef3f30c713.png
[7bbcc8dac285624caa365cd3e499a258.png]: /images/20221004/9ec363d566674c6f936b948ad4fcc01a.png
[Link 1]: https://cloud.tencent.com/developer/article/1536468?from=article.detail.1551945
[Link 2]: https://cloud.tencent.com/developer/article/1646096?from=article.detail.1551945
[Link 3]: https://mp.weixin.qq.com/s?__biz=MzA4NDUyNzA0Ng==&mid=2247484058&idx=1&sn=de40eaf888e87d1fac6dc925cac9a01b&chksm=9fe49033a8931925c25065993111ad911e35babeec392ecbe2a7dd29c3bb5d0ceb665671370e&scene=21#wechat_redirect