jmeter3.0生成html报告

╰+攻爆jí腚メ 2022-09-27 14:30 213阅读 0赞

# JMeter性能测试3.0时代之-多维度的图形化HTML报告 #

> 在上一篇博客[JMeter性能测试3.0时代之-全新JMeter插件管理][JMeter_3.0_-_JMeter]中我说会写真正的JMeter 3.0新特性，时隔两周，总算在这个周末，暂停其他安排，来继续这个未完成的系列。  
> 本文主要介绍JMeter3.0引入的新特性：[Dashboard Report][]，图形化的HTML格式多维度测试报告。借助这个特性，可以很大程度上降低我们搭建基于JMeter的性能测试平台时，在结果展示上的难度，将更多的经历放在后端的平台功能而不是去临时学习前端图表库。

## 一.为什么谈这个新特性 ##

在JMeter3.0之前，官方只提供在工具的UI上对测试结果部分维度的图形化展示，这对我带来了两方面的困扰：

1.  在实际使用中，在平台中集成JMeter后需要页面展示TPS曲线，平均响应时间曲线等图表时，需要我们手动操刀摆弄如Hightcharts/Echarts等前端图表库。
2.  要查看历史的测试结果，需要启动JMeter的图形化界面，导入保存的CSV结果，过程繁琐，并且当结果集较大时，JMeter需要耗费相当多的时间在界面上展示图形化报告。

本文讨论的新特性为这两个问题带来了较好的解决办法：

*  新特性良好的实现了结果数据可视化，生成的报告是HTML页面形式，并且包含大多数实际测试中关心的度量维度的，可以便捷地嵌入到平台，从浏览器来查看每次测试运行的。
 *  只要保留生成的HTML页面，后期要查看该次测试的结果，只需要在浏览器打开即可，方便快捷。

## 二.新特性简介 ##

JMeter3.0提供一个用于生成**HTML页面格式图形化报告**的扩展模块。该模块支持通过两种方式生成多维度图形化测试报告：

1.  在JMeter性能测试结束时，自动生成本次测试的HTML图形化报告
2.  使用一个已有的结果文件(如CSV文件)来生成该次结果的HTML图形化报告

**其默认提供的度量维度包括：**

1.  APDEX(Application Performance Index)指数
2.  聚合报告
    
     *  类似于UI上的*Aggregate Report*
3.  Errors报告
    
     *  展示不同错误类型的数量以及百分比
4.  响应时间变化曲线
    
     *  展示平均响应时间随时间变化情况
     *  类似于JMeter Plugins在UI上的*jp@gc - Response Times Over Time*
5.  数据吞吐量时间曲线
    
     *  展示每秒数据吞吐量随时间变化的情况
     *  类似于JMeter Plugins在UI上的*jp@gc - Bytes Throughput Over Time*
6.  Latency time变化曲线
    
     *  展示Latency time随时间变化的情况
     *  类似于JMeter Plugins在UI上的*jp@gc - Response Latencies Over Time*
7.  每秒点击数曲线
    
     *  类似于JMeter Plugins在UI上的*jp@gc - Hits per Second*
8.  HTTP状态码时间分布曲线
    
     *  展示响应状态码随时间的分布情况
     *  类似于JMeter Plugins在UI上的*jp@gc - Response Codes per Second*
9.  事务吞吐量时间曲线(TPS)
    
     *  展示每秒处理的事务数随时间变化情况
     *  类似于JMeter Plugins在UI上的*jp@gc - Transactions per Second*
10. 平均响应时间与每秒请求数的关系图
    
     *  展示平均响应时间与每秒请求数(可以理解为QPS)的关系
11. Latency time与每秒请求数的关系图
    
     *  展示Latency time与每秒请求数的关系
12. 响应时间百分位图
    
     *  响应时间的百分位分布图
13. 活动线程数变化曲线
    
     *  展示测试过程中活动线程数随时间变化情况
14. 平均响应时间与线程数的关系图
    
     *  展示平均响应时间与线程数的关系
     *  类似于JMeter Plugins在UI上的*jp@gc - Response Times vs Threads*
15. 柱状响应时间分布图
    
     *  展示落在各个平均响应时间区间的请求数情况

*注1：Latency time没有翻译成中文，这里对其计算方式做注解：*

- Latency time = 接收到响应的第一个字节的时间点 - 请求开始发送的时间点

> *from just before sending the request to just after the first response has been received*  
> \-- [ Apache JMeter Glossary][Apache JMeter Glossary]

- 响应时间(JMeter术语中的Elapsed time) = 接收完所有响应内容的时间点 - 请求开始发送的时间点

> *from just before sending the request to just after the last response has been received*  
> \-- [ Apache JMeter Glossary][Apache JMeter Glossary]

*注2：Apdex 标准从用户的角度出发，将对应用响应时间的表现，转为用户对于应用性能的可量化为范围为 0-1 的满意度评价。。*

> **Apdex (Application Performance Index)** is an open standard developed by an alliance of companies. It defines a standard method for reporting and comparing the performance of software applications in computing.  
> \-- [ wikipedia][wikipedia]

## 三.快速入门 ##

### 1.确认基本配置 ###

*  在jmeter.properties或者user.properties确认如下配置项：
    
        jmeter.save.saveservice.bytes = true
        jmeter.save.saveservice.label = true
        jmeter.save.saveservice.latency = true
        jmeter.save.saveservice.response_code = true
        jmeter.save.saveservice.response_message = true
        jmeter.save.saveservice.successful = true
        jmeter.save.saveservice.thread_counts = true
        jmeter.save.saveservice.thread_name = true
        jmeter.save.saveservice.time = true
        # the timestamp format must include the time and should include the date.
        # For example the default, which is milliseconds since the epoch: 
        jmeter.save.saveservice.timestamp_format = ms
        # Or the following would also be suitable
        jmeter.save.saveservice.timestamp_format = yyyy/MM/dd HH:mm:ss
 *  如果希望在Errors报告中展示更详细数据，需要确保如下配置
    
     *  `jmeter.save.saveservice.assertion_results_failure_message = true`
     *  如果使用了事务控制器(Transaction Controller)，确认*Generate parent sample*为未勾选状态

### 2.生成报告 ###

a. 在压力测试结束时报告

*  基本命令格式：  
    `jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>`
 *  样例：  
    `jmeter -n -t F:\PerformanceTest\TestCase\script\getToken.jmx -l testLogFile -e -o ./output`

b. 使用已有的压力测试CSV日志文件生成报告

*  基本命令格式：  
    `jmeter -g <log file> -o <Path to output folder>`
 *  样例：  
    `jmeter -g D:\apache-jmeter-3.0\bin\testLogFile -o ./output`

两个样例都会在\\apache-jmeter-3.0\\bin\\output目录下产生如下文件(夹):

![Center][]

用浏览器打开index.html文件，即可查看各种图形化报告:

![Center 1][]

![Center 2][]

注：在3.0版本，由于源码中字符编码的问题，可能会遇到生成的报告中，中文标签展示为乱码的问题，因篇幅限制，解决办法请[戳这里][Link 1]看我另一篇文章。

## 四.自定义配置 ##

JMeter3.0在bin目录新增了`reportgenerator.properties`文件保存了所有关于图形化HTML报告生成模块的默认配置，要变更配置，建议不要直接编辑该文件，而是推荐在`user.properties`中去配置和覆盖。

### 1.总体配置 ###

总体配置都是以`jmeter.reportgenerator.`为前缀，如：jmeter.reportgenerator.overall\_granularity=60000

*  `overall_granularity`：定义采样点粒度，默认为60000ms，通常在稳定性以外的测试中，我们可能需要定义更细的粒度，比如1000ms，我们可以在`user.properties`文件末尾添加如下配置：
    
        # Change this parameter if you want to change the granularity of over time graphs.
        jmeter.reportgenerator.overall_granularity=6000
 *  `report_title`:定义报告的标题，我们可能需要将标题定义为实际测试项名称
 *  `apdex_satisfied_threshold`：定义Apdex评估中**满意**的阈值(单位ms)
 *  `apdex_tolerated_threshold`: 定义Apdex评估中**可容忍**的阈值  
    `Apdext = (Satisfied Count + Tolerating Count / 2) / Total Samples`

另外，在`jmeter.properties`中，有关于集合报告中的三个百分位的默认值：

aggregate_rpt_pct1 : Defaults to 90
    aggregate_rpt_pct2 : Defaults to 95
    aggregate_rpt_pct3 : Defaults to 99

可以在user.properties中对其进行覆盖，如：`aggregate_rpt_pct1 = 70`，效果如下：

![Center 3][]

### 2.图表配置 ###

每个图表配置都是以`jmeter.reportgenerator.graph.<图表名称>.`为前缀。

*  `classname` 图表的实现类，如果有自己定制的实现，将该配置的值写为自定义实现类的类名
 *  `title` 图标标题，比如要汉化的时候，在这里配置中文标题
 *  `property.set_granularity` 设置图标的采样点粒度，不配置时默认使用总体配置中的粒度设置

### 3.输出配置 ###

输出配置都以`jmeter.reportgenerator.exporter`为前缀。

*  `property.output_dir` 配置默认的报告输出路径。在命令行可以用-o选项来设置特定的路径覆盖该配置。
 *  `html.series_filter` 用于过滤展示内容。如在user.properties添加如下配置：  
    `jmeter.reportgenerator.exporter.html.series_filter=(^Login)(-success|-failure)?`  
    则最后的报告只展示名为Login这个取样器的数据。该配置包含两部分，`(-success|-failure)?`是`Transactions per second`图表所依赖的配置。前面部分接受一个正则表达式用来过滤。

## 五.总结 ##

本次介绍的`Dashboard Report`特性本质上是Apache JMeter对于测试结果数据可视化方式的顺应时代的更新，虽然算是姗姗来迟，虽然并不酷炫，但至少，对于要需要基于它来执行性能测试的人来说，仍然是一个福音。最后，感谢Apache JMeter项目的各位贡献者对它的持续更新。

## References ##

1.  [Apache JMeter Dashboard Report][]
2.  [Apache JMeter Glossary][]

[阿羅][Link 2]

写了 15410 字，被 76 人关注，获得了 78 个喜欢

Java，后端服务，数据处理，测试，拥抱全栈http://www.aloo.me

如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作！

后发表评论

2楼 · 2016.09.20 17:00

An error occurred: Error while processing samples:Consumer failed with message :Consumer failed with message :Consumer failed with message :No column <threadName> found in sample metadata <timeStamp,elapsed,label,responseCode,responseMessage,dataType,success,failureMessage,bytes,grpThreads,allThreads,Latency,IdleTime>, check \#jmeter.save.saveservice.\* properties to add the missing column  
  
楼主你好，按照你的配置最后报了这个错。。求解决~

3楼 · 2016.09.21 00:10

看报错关键信息：No column <threadName> found in sample metadata  
解决方案：确认./bin/jmeter.properties文件中有如下配置：jmeter.save.saveservice.thread\_name = true。也可以在界面上你的listener的configure选项里面勾选“save thread name”

赞 回复

[11a80f8fc74f][]： [@阿羅][Link 3] 确认都设置了还是这个问题，用什么监听器有关系吗？？

2016.09.21 14:57 回复

[11a80f8fc74f][]： [@阿羅][Link 3] An error occurred: Data exporter "html" is unable to export data. 重新运行了下出现了这个错 是不是哪里设置有问题呢？

2016.09.21 15:21 回复

[11a80f8fc74f][]： [@阿羅][Link 3] 最新进展运行可以了但是目录下为空。。。实在没招了，求帮助~~

2016.09.21 16:19 回复

[妞妞儿们][Link 4]

4楼 · 2016.10.18 16:02

jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>  
这个命令，放在哪里执行阿？

赞 回复

[阿羅][Link 2]： [@妞妞儿们][Link 5] windows下在命令行执行

5楼 · 2016.11.06 12:56

请教下，为什么我生成报告就报这个错误，报告文件夹生成了但是没有 index.html  
Tidying up ... @ Sun Nov 06 12:09:41 CST 2016 (1478405381170)  
The JVM should have exitted but did not.  
The following non-daemon threads are still running (DestroyJavaVM is OK):  
Thread\[StandardJMeterEngine,5,main\], stackTrace:sun.nio.fs.WindowsNativeDispatch  
er\#CopyFileEx0  
sun.nio.fs.WindowsNativeDispatcher\#CopyFileEx  
sun.nio.fs.WindowsFileCopy\#copy  
sun.nio.fs.WindowsFileSystemProvider\#copy  
java.nio.file.Files\#copy  
org.apache.jmeter.report.dashboard.TemplateVisitor\#visitFile at line:126  
org.apache.jmeter.report.dashboard.TemplateVisitor\#visitFile at line:48  
java.nio.file.Files\#walkFileTree  
java.nio.file.Files\#walkFileTree  
org.apache.jmeter.report.dashboard.HtmlTemplateExporter\#export at line:487  
org.apache.jmeter.report.dashboard.ReportGenerator\#exportData at line:348  
org.apache.jmeter.report.dashboard.ReportGenerator\#generate at line:256  
org.apache.jmeter.JMeter$ListenToTest\#generateReport at line:1144  
org.apache.jmeter.JMeter$ListenToTest\#testEnded at line:1089  
org.apache.jmeter.engine.StandardJMeterEngine\#notifyTestListenersOfEnd at line:2  
15  
org.apache.jmeter.engine.StandardJMeterEngine\#run at line:436  
java.lang.Thread\#run  
  
Thread\[DestroyJavaVM,5,main\], stackTrace:  
... end of run

赞 回复

[阿羅][Link 2]： [@b064472f6728][b064472f6728] 如果这个问题是必现或者高概率重现的情况，可以尝试将jmeter.propreties的 jmeterengine.force.system.exit属性设置为true，效果是当JMeter运行于NON-GUI下，当测试结束后，强制退出

[JMeter_3.0_-_JMeter]: http://www.jianshu.com/p/31776d20c22c
[Dashboard Report]: https://jmeter.apache.org/usermanual/generating-dashboard.html
[Apache JMeter Glossary]: http://jmeter.apache.org/usermanual/glossary.html
[wikipedia]: https://en.wikipedia.org/wiki/Apdex
[Center]: /images/20220708/30e15ffc9ce443b7ac3b43f2efcb4cc5.png
[Center 1]: /images/20220708/00896dbbe37f405884ba2584a76ae3c5.png
[Center 2]: /images/20220708/66b868375b4f46879d06bd4e1029505d.png
[Link 1]: http://www.jianshu.com/p/034dd33554c0
[Center 3]: /images/20220708/c7ee7c6fac7d41618928df6875e6c604.png
[Apache JMeter Dashboard Report]: http://jmeter.apache.org/usermanual/generating-dashboard.html
[Link 2]: http://www.jianshu.com/u/75f14e286c8e
[11a80f8fc74f]: http://www.jianshu.com/u/11a80f8fc74f
[Link 3]: http://www.jianshu.com/users/75f14e286c8e
[Link 4]: http://www.jianshu.com/u/b705092e5755
[Link 5]: http://www.jianshu.com/users/b705092e5755
[b064472f6728]: http://www.jianshu.com/users/b064472f6728