不稳定测试给您的团队带来了多少成本?
输入您的团队每周排查的不稳定测试失败次数、每次耗时以及工程师每小时的成本。计算器会将这些数值相乘,显示损失的工程师工时和费用。它在您的浏览器中运行,不会发送任何数据。
最后更新:
由 Verdict System LLC 的 Nexus StudioQA 团队撰写。2026年10月15日。
您的数据
以下为示例数值。请替换为您自己的数据。
每月工程师工时:
每月成本:
每年成本:
已公布的数据说明了什么?
Google 的测试团队于 2016 年 5 月报告称, 其所有测试运行中约有 1.5% 出现了不稳定的结果, 近 16% 的测试存在一定程度的不稳定性, 而观察到的从通过变为失败的情况中, 约 84% 涉及不稳定测试. 团队查看的大多数标红运行都是噪声, 而非新缺陷.
即使概率很小, 在整个测试套件中也会累积. 如果每次测试运行有 1.5% 的概率出现不稳定结果, 且各项测试的不稳定情况相互独立, 那么对于 N 项测试, 整个套件运行一次至少出现一次不稳定失败的概率为 1 − 0.985N:
| 套件中的测试数量 | 至少出现一次不稳定失败的运行 |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
因此,当有 100 项测试时,大约每五次测试套件运行就有四次需要有人检查并非由缺陷导致的失败。你的发生率并不等于 Google 的发生率:请根据自己的 CI 历史记录统计,再将每周次数填入上方的计算器。实际发生的不稳定测试失败也并非相互独立,因为同一个共同原因往往会导致多项测试同时失败。
如何计算?
每周失败次数乘以每次失败的处理分钟数,再除以 60,得到每周工时。乘以 52 得到每年工时,再除以 12 得到每月工时。工时乘以每小时成本即为费用。没有任何隐藏系数。
示例使用整数,只为展示计算结果的概貌,并非来自对任何公司的调查。在采信结果之前,请先从您自己的 CI 历史记录中统计几周的失败次数。
局限
- 这里只计算排查时间,不包括发布延迟的成本、因测试套件频繁误报而忽略真实缺陷的成本,以及重新运行所消耗的 CI 分钟数。
- 您自己的测试并非每次失败都产生相同的成本。较长时间范围内的平均值会掩盖少数耗费一整天的失败。
- 它并不表示某个工具能为您节省多少成本。Nexus StudioQA 将重试后通过的失败标记为 FLAKY,将真实缺陷标记为 BREACHED,让您知道应优先检查哪里,但实际节省的时间取决于您的测试套件。
接下来了解什么
阅读这个测试是不稳定,还是存在真实缺陷?,了解判定依据,或使用硬件成本计算器,比较云订阅与自有机器的成本。