这是不稳定的测试,还是真正的缺陷?
不稳定的测试会先失败,然后在无人修复任何问题的情况下重试通过,而真正的缺陷有明确的失败原因,重试也无法改变。Verdict System LLC 的 Nexus StudioQA 通过记录每次重试来区分二者:FLAKY 表示失败后重试通过,BREACHED 表示发现了真正的问题,BREACHED_FLAKY 表示失败本身也不一致。重试绝不会将缺陷变成绿色的通过结果。
最后更新:
作者:Verdict System LLC 的 Nexus StudioQA 团队。2026 年 10 月 7 日。
什么是不稳定的测试?
不稳定的测试是指在代码和测试均未改变的情况下,各次尝试结果不一致:一次失败,另一次却通过。在 Nexus StudioQA 中,这个词只有一种含义。FLAKY 表示测试先失败,随后重试通过,期间没有进行任何自愈修复。应用或测试中存在不稳定因素,而问题并未得到修复。
每次尝试都会出现的确定性失败并不属于不稳定,即使自愈步骤曾尝试修复选择器却未成功。早期版本的引擎会将这种情况归为 FLAKY。团队看到 FLAKY 就认为"测试有问题",随后不再追究,结果应用故障被当作噪声忽略,带病上线。引擎现在不再这样处理。
重试会掩盖真正的缺陷吗?
会,原因在于状态的数量。如果只有通过和失败两种状态,重试通过就会把红色的失败结果变成绿色,应用中的间歇性缺陷也随之隐形。这类缺陷的排查成本极高。如果红色也可能只是网络闪断或浏览器崩溃,团队就会习惯于重新运行失败测试,而不是查看失败原因,测试套件也就失去了可信度。
Nexus StudioQA 会让重试始终可见。先失败后通过的测试不属于 SECURE。它在 CI 中以退出码 0 结束,因此不会导致构建失败,但会在报告和历史记录中显示为 FLAKY,表示有保留的通过。完整的检查顺序请参阅15 种判定结果的判定方式。
为什么 Playwright 测试会时成时败,该如何解决?
Playwright 测试时成时败的原因与其他浏览器测试相同:测试或应用依赖于某些每次运行都会变化的因素。Playwright 会等待元素就绪,从而消除一个常见原因,但测试结果仍可能反复变化。以下是常见原因,按建议排查的顺序列出。
- 共享数据或残留数据。 两个测试使用同一个账户或记录,或者一个测试依赖另一个测试创建的内容。为每个测试提供独立数据,并在测试后清理。
- 等待的对象不对。 使用固定时长的休眠,或者在请求完成前就执行检查。应等待响应返回或元素可见,并使用能自动重试的网页优先断言。
- 不稳定的定位器。 基于位置或自动生成的类名构建的选择器,会在页面变化后失效。优先使用角色、标签和测试 ID。界面变更后失效的测试
- 环境问题。 网络缓慢、限流或反机器人验证,都可能让本身正确的测试失败。这不是测试不稳定。误报失败
- 真实的间歇性缺陷。 应用中的竞态条件有时会导致失败,这类原因不应被重试掩盖。保留重试记录,并查看失败的那次运行。
重试是发现测试不稳定的手段,不是解决办法。应修复根本原因,在此之前,将失败的运行记录保留在证据中,让报告始终体现这一保留意见。
FLAKY、BREACHED 和 BREACHED_FLAKY 有什么区别?
- FLAKY: 先失败,随后重试通过,期间未修复任何问题。先查看失败尝试的 raw-data.json,再查看历史趋势。退出码为 0。
- BREACHED: 测试在单次尝试中失败,且无法用环境或测试框架的已知模式解释该错误。某项断言失败。这就是缺陷报告,退出码为 1。
- BREACHED_FLAKY: 测试此前已重试过,最后一次尝试仍然失败,且无法用环境或测试框架的已知模式解释。失败本身并不一致。提交缺陷前,请先比较各次尝试。退出码为 1。
| 判定 | 尝试次数 | 最后一次尝试 | CI 退出码 | 失败录像 |
|---|---|---|---|---|
| FLAKY | 失败后已重试 | 通过 | 0 | No |
| BREACHED | 一次 | 失败 | 1 | 默认保留数量 |
| BREACHED_FLAKY | 失败后已重试 | 失败 | 1 | 默认保留数量 |
另外两种相邻状态让结果更准确。AUTO_RECOVER 表示测试通过,但自愈过程替换了选择器,因此编写者提供的定位器已失效,这次通过并非毫无问题。如果首次尝试仅因超时而失败,随后重试通过,则为 SECURE,因为这表明存在延迟,而非不稳定。
在将失败判定为 BREACHED 或 BREACHED_FLAKY 之前,分类器会按固定顺序排除其他原因:测试框架错误、崩溃、阻拦、主机不可达以及超时。只有无法用上述原因解释的失败才算发现问题。因此,超时或 CAPTCHA 不会作为缺陷报告提交。
重试次数如何计算?
引擎会读取本次运行的尝试编号。通过的测试若重试编号大于零,则判为 FLAKY;但如果修复了选择器,则为 AUTO_RECOVER。失败或超时的测试若重试编号大于零,且无法用环境原因解释,则为 BREACHED_FLAKY。无保留的通过要求重试编号为零,且未修复过选择器。
FLAKY 仅表示各次尝试的结果不一致,不含其他意义。单次尝试失败且重试次数为零,绝不会被标记为不稳定。历史记录中的每一行还会记录 retry_attempt 和 attempts,让次数始终与运行记录一同保留。
每种判定结果会留下哪些证据?
- FLAKY: screenshot.png、metadata.json 和 raw-data.json。文件夹会保留失败尝试的 raw-data.json,因此即使重试掩盖了失败,其日志依然留存。这由默认开启的“保留 FLAKY / AUTO_RECOVER 通过结果的证据”设置控制。
- BREACHED_FLAKY: report.md、metadata.json、raw-data.json 和 screenshot.png,并默认保留失败视频。
- BREACHED: 文件相同,并默认保留视频。
判定结果包含在证据文件夹的名称中,例如以 [BREACHED] 结尾的名称。证据页面以一个失败的测试为例,逐一介绍各个文件。
历史记录如何识别结果反复的测试?
历史记录会针对每项测试及其使用的浏览器或设备,为每次运行保留一行记录,包含判定结果、重试次数和错误特征。它根据这些记录,按会话、天或周展示趋势:出现回归、已恢复、仍未修复和速度变慢。先通过、再失败、然后又通过的测试会在这里显示,而不会被淹没在反复重跑的结果中。
Evidence Locker 和 Patrol 中的风险排名,会根据测试结果反复变化的频率、失败频率或耗时对测试排序。它还会显示基于历史记录、通过逻辑回归预测的风险,数据不足时则使用指数加权移动平均(EWMA)作为后备方法。运行不足五次的测试不会被标记为不稳定,因为一两次运行不足以反映规律。
局限
- 重试是区分 FLAKY 与 SECURE, 以及 BREACHED_FLAKY 与 BREACHED 的依据。关闭重试后,间歇性失败会被判为 BREACHED.
- FLAKY 表示各次尝试的结果不一致,但并不说明原因。究竟是应用还是测试本身出了问题,仍需要人工排查。
- 分类依据是错误文本,因此,如果自定义断言消息包含
403或Forbidden等字样,就可能被判定为环境问题。如果判定结果出乎意料,请打开 metadata.json 查看。 - 运行不足五次的测试,在历史记录和风险排名中都不会被标记为不稳定。
接下来了解什么
证据页面展示失败测试留下的所有文件,Nexus StudioQA 如何确定 15 种测试判定结果说明各项检查的顺序。免费试用使用同一引擎运行您自己的测试。
如果想先在自己的机器上运行检查,如何区分真正的缺陷和不稳定的测试?中提供了可运行的示例。