线程中的异常会导致回滚吗_阿里研究员：软件测试中的18个难题（下）

谁践踏了优雅 2023-01-08 02:08 102阅读 0赞

![572aad9af2e3d89144f2a68111eeb11b.png][]

你好，欢迎收听极客视点。

在软件测试中会遇到非常多的问题。近日，阿里研究员郑子颖在公众号“阿里技术”分享了他总结出的测试难题，供软件测试人员参考。在上一篇文章中，我们列出了其中9个问题，本文继续分享其余的问题。

#### 10. 异常测试 ####

一个分布式系统，它的内部、内部各部分之间以及它和外部的交互都会出现各种异常，如访问超时、网络连接和耗时的抖动、连接断开、DNS无法解析、磁盘/CPU/内存/连接池等资源耗尽等等。如何确保系统的行为在所有情况下都是符合预期的？如何把更多的问题提前到线下来发现？对于一个复杂的分布式系统来说，要遍历所有可能出现异常的地方和所有可能出现的异常，异常用例的数量是非常大的。此外，某些异常情况下，系统对外表现出来的行为应该没有变化，而另一些异常情况下，系统行为是会有变化的。对于后一类，如何给出每一个异常用例的预期结果（即test oracle），也是比较有难度的。

#### 11. 并发测试（Concurrency Test） ####

并发（concurrency）可能出现在各个层级，比如数据库层面，对同一张表、同一条记录的并发读写，再比如单系统层面，同一个进程内的多个线程之间的并发，单服务器上的多个进程之间的并发，以及单个服务的多个实例之间的并发，等等。传统的并发测试是基于性能测试来做的，有点靠撞大运，而且经常是即便跑出问题来也会被忽视或者无法复制。

#### 12. 回滚的测试 ####

回滚测试的难度在于：需要覆盖的可能性非常多，一个发布可能在任何一个点上回滚。回滚可能还会引发兼容性问题，新代码生成的数据，在新代码被回滚后，老代码是否还能正确处理这些数据。

#### 13. 兼容性测试 ####

代码和数据的兼容性问题有很多形式。例如，如何确保新代码能够正确处理所有的老数据？有时候，老数据是几个月前的老代码产生的，有时候，老数据可能就是几分钟前产生的。验证这些场景兼容性的难度在于：需要验证的可能性太多了。

异常测试、并发测试、回滚测试、兼容性测试，这些问题的共同点是：我们知道这些问题是可能存在的，但需要测试时，可能性又太多。

#### 14. Mock ####

测试的有效性也依赖于Mock的正确性。既然是Mock，它和被mock的服务（包括内部的、二方的和三方的）的行为就多多少少会有差异。这种差异就有可能导致Bug被漏掉。

#### 15. 静态代码分析 ####

有一些类型的问题，要用通常意义上的软件测试来发现，难度和成本很高，而通过静态代码分析来发现反而比较容易。例如，ThreadLocal变量忘记清除，会导致内存溢出，以及关键信息在不同的上游请求之间串错。静态代码分析就可以及早发现这些问题。

#### 16. 形式化验证（Formal Verificaition） ####

除了在协议、芯片、关键算法等上面的运用以外，形式化方法在更偏业务的层面是否有运用的价值和可能？

#### 17. 防错设计（Mistake Proof） ####

严格来说，防错设计并不是software testing范畴内的。但做测试久了就会发现，有很多Bug，如果在设计时做得更好一点，就不会发生。

#### 18. 可测性（Testability） ####

很多开发或QA同学认为可测性就是开接口、加test hook，或者还没有理解将可测性落到自己的领域（例如支付系统、公有云、ERP）意味着什么。在需求和系统设计分析阶段还不能做到从可测性角度提出要求，往往要求比较滞后。这也是一个问题。

以上就是今天的内容，希望能给你带来新的思考。

![113ad400e1c2dda05016c9b80ee98243.png][]

[572aad9af2e3d89144f2a68111eeb11b.png]: /images/20221119/b50e16a4ef624287ae4bcc2bde00b592.png
[113ad400e1c2dda05016c9b80ee98243.png]: /images/20221119/cc80284b0372426ea0823b5826f2524b.png