记一个质量极差的测试工具——请重视手工测试，自动化测试不是银弹

灰太狼 2022-07-11 15:23 182阅读 0赞

新年伊始，又想吐槽一番。

背景；我在一个做自动化的持续集成测试的组。

我们隔壁有一个做测试工具的组。半年前我们隔壁组做了一个工具，具有代码分支管理、静态分析、不同级别的单元测试、集成测试等功能，

这个工具被老板看中，强制让所有部门使用这个工具来提交代码。不用这个工具提交的代码将不能合入产品代码的主分支。使用这个工具提交的代码会自动去编译、打包、进行各层测试。

大家使用之后，发现这个工具烂透了。有无数的严重BUG。（比如提交上去的代码不能打包成功，等等。）

我每次提交代码使用这个工具需要浪费大约8小时时间来解决他的bug导致的问题，才能最终把我们要提交的代码提交上去。

接着，隔壁组对这个工具的开发陷入了泥潭。

工具质量极差，被用户（各个其他需要提交代码的部门）提了很多BUG。

不得不停止开发新功能，去改BUG。改BUG时又引入新BUG，导致用户提交了更多的BUG。

--------------------

这个时候，工具组的人和上头的老板才意识到这个东西这样做下去不行。

这工具需要测试。

于是找了个自动化测试架构师，带了一群实习生来做自动化测试。

他们把该工具的API拿出来，封装了一套自动化测试关键字。写了一些自动化测试脚本。

希望建立一套持续集成测试系统来对这个系统做自动化回归接口测试。

这时我们组的老板有意向把这个系统的测试工具接过来 （就因为我们组是专门做持续集成测试的？），于是来咨询我们的意见。

--------------------

我想说，错了，这个方向完全错了。

这个项目注定会在泥潭里越陷越深。

这个项目中有很多错误：

1. 开发之初毫无测试意识。作为一个测试工具开发组，好歹算半个测试人员，居然没有一点测试的意识。不配备任何测试人员地去写一个影响很大的工具。

2. 没有单元测试。值得一提的是我们的所有产品代码都有或多或少的单元测试。所以没有单元测试，在我们这里肯定是一个错误。

3. 没有分析过这个系统的风险和各种外部依赖之间的关系。结果开发出的测试工具依赖多个不稳定的外部系统或服务。导致本来质量就差的工具显得质量更垃圾了。

4. 当发现需要测试时错误地选择了自动化测试。你们需要的是一个熟悉产品，熟悉需求的，合格的手工测试人员。

以手工回归测试执行的慢为理由拒绝手工测试。这正是这个组最大的错误。

合格的测试人员，掌握快速测试的思想，使用合适的工具，完全可以把任何复杂系统的测试时间降下来。在最短时间内发现最严重问题。

5. 他们最终也没有意识到测试人员需要了解需求。找了完全不了解需求的实习生来做自动化测试。当然了，这个工具也压根没有需求文档。

这时如果是一个合格的测试人员，我们会先去学习、了解这个系统，然后自己整理出这个系统的需求。以此为依据来进行测试。

但是，显然，由于我们公司全部都是自动化测试人员，并没有一个合格的手工测试人员。

即使我可以做，我也不愿意去加入这个烂摊子。

6. 自动化测试来不及解决这个系统的质量问题。

讽刺的是，他这个工具本身是一个持续集成测试工具。他们想要我们来搭一个持续集成测试工具的持续集成测试系统。真是一个笑话。到时候我们这个持续集成系统搭好了又一堆BUG谁再搭一个来测我们的系统？

而且这个时间线也拉得太长了，这套自动化API测试即使搭起来也是很久以后了，写脚本的人又不懂用户需求，根本不能写出有实际意义的脚本。也就是说，即使测试全PASS，也不代表系统真的没问题。

7. 测试人员不是救火队员。你的系统质量已经烂成一坨了，请不要妄想此时引入一两个测试人员来背黑锅。所以这种情况下，我是绝对不愿意接这个活的。

而且手工测试人员的地位之低真是令人惊讶。

**能改善这种垃圾系统的质量的测试人员都是真正的高手，他们却想把这种高人当作打下手的人放进项目组，做梦呢。**

我就只能不屑地笑笑，然后告诉他们，这个系统病入膏肓没救了。

--------------------

最后这一切又印证了我对测试工具/自动胡测试的看法：测试工具和自动化测试脚本本身的质量是最需要保证的。

请把三流开发人员从这个做自动化和做工具的队伍中踢出去，最起码也找一些二流的开发来做。另外，请找一个一流的架构，从一开始就减少这个系统的BUG产生可能性。

而不是找三流的架构加三流的开发，作出一堆垃圾再去找测试背锅。

发表评论取消回复

表情：

评论列表（有 0 条评论，182人围观）

还没有评论，来说两句吧...

相关阅读

相关测试——自动化测试（Selenium工具）

第一个自动化测试实例，Selenium自动化测试

ゞ浴缸里的玫瑰/ 2024年04月23日 15:33/ 0 赞/ 115 阅读

相关手工测试or自动化测试谁更重要？

先表明观点：[自动化测试][Link 1]是手工测试的有效补充，这个观点我很认同。但是自动化测试能主导甚至取代手工测试，小编觉得是不可能的。自动化测试是什么呢？自动

Bertha 。/ 2024年03月24日 21:26/ 0 赞/ 40 阅读

相关测试篇(五)：什么是自动化测试、自动化测试分类、selenium工具、第一个自动化测试程序

目录 [一、什么是自动化测试][Link 1] [二、自动化测试分类][Link 2] [2.1 单元测试][2.1] [2.2 U

约定不等于承诺〃/ 2024年03月22日 17:02/ 0 赞/ 87 阅读

相关测试质量报告=测试报告？当然不是！

测试报告大家都大概知道怎么做，但是质量报告呢，说起来到底与测试报告有什么不同？仔细思考，其实这两种报告之间的差异还是比较直观的。测试报告更多是以测试为出发点，关注测

雨点打透心脏的1/2处/ 2023年10月13日 08:32/ 0 赞/ 48 阅读

相关测试质量报告=测试报告？当然不是！

测试报告大家都大概知道怎么做，但是质量报告呢，说起来到底与测试报告有什么不同？仔细思考，其实这两种报告之间的差异还是比较直观的。测试报告更多是以测试为出发点，关注测

超、凢脫俗/ 2023年10月12日 13:33/ 0 赞/ 77 阅读

相关测试质量报告=测试报告？当然不是！

测试报告大家都大概知道怎么做，但是质量报告呢，说起来到底与测试报告有什么不同？仔细思考，其实这两种报告之间的差异还是比较直观的。测试报告更多是以测试为出发点，关注测

落日映苍穹つ/ 2023年10月12日 13:32/ 0 赞/ 22 阅读

相关自动化测试: 真的是银弹？

没有一种单纯的技术或管理上的进步，能够独立地承诺在10年内大幅度地提高软件的生产率、可靠性和简洁性。Brooks鼓励我们将技术和方法视作一种演进手段，而并非革命。将自动化

缺乏、安全感/ 2022年08月24日 04:24/ 0 赞/ 186 阅读

相关记一个质量极差的测试工具——请重视手工测试，自动化测试不是银弹

新年伊始，又想吐槽一番。背景；我在一个做自动化的持续集成测试的组。我们隔壁有一个做测试工具的组。半年前我们隔壁组做了一个工具，具有代码分支管理、静态分析、不同级别

灰太狼/ 2022年07月11日 15:23/ 0 赞/ 183 阅读

相关自动化测试相较手工测试的优势

原文链接：[http://blog.sina.com.cn/s/blog\_908e2d410101ekwf.html][http_blog.sina.com.cn_s_blo

r囧r小猫/ 2022年05月14日 05:09/ 0 赞/ 248 阅读

相关手工测试与自动化测试的区别

1、手工测试与自动化测试其实并不是对立的并不是所有的功能自动化测试都可以实现，它的效率也不高，但是可以完成一部分场景的功能回归。自动化测试发展了这么多年，也没有把手工测试给

雨点打透心脏的1/2处/ 2021年11月11日 13:24/ 0 赞/ 346 阅读