不稳定测试检测 让每次重试都有迹可查.
不稳定测试检测可区分多次尝试结果不一致的测试与真实缺陷. Nexus StudioQA 会记录 Playwright 和 Selenium 运行中的每次重试: 失败后重试通过的测试标记为 FLAKY, 仅尝试一次就失败的测试标记为 BREACHED, 而故障本身也表现不一致的测试则标记为 BREACHED_FLAKY. 重试绝不会把缺陷变成绿色通过的运行结果.
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
三种判定, 一条规则
FLAKY 仅表示多次尝试的结果不一致, 不代表其他含义. 仅尝试一次且未重试的失败绝不会被标记为不稳定.
| 判定 | 尝试次数 | 最后一次尝试 | CI 退出码 | 失败录像 |
|---|---|---|---|---|
| FLAKY | 失败后已重试 | 通过 | 0 | No |
| BREACHED | 一次 | 失败 | 1 | 默认保留数量 |
| BREACHED_FLAKY | 失败后已重试 | 失败 | 1 | 默认保留数量 |
如何计算重试次数
由尝试编号决定
重试编号大于零且通过的测试会标记为 FLAKY, 但如果选择器经过修复, 则标记为 AUTO_RECOVER. 只有重试编号为零且选择器未经过修复, 才算一次干净的通过.
先排查环境
在将故障判定为 BREACHED 或 BREACHED_FLAKY 之前, 引擎会先排除测试框架错误、崩溃、阻断、主机无法访问和超时. 超时或 CAPTCHA 验证不会被当作缺陷报告.
首次尝试缓慢不等于测试不稳定
如果首次尝试仅因耗时、浏览器关闭或等待元素可见而失败, 随后重试通过, 则判定为 SECURE: 这表明存在延迟, 而非不稳定.
次数随运行记录保留
历史记录的每一行都会记录 retry_attempt 和 attempts. 失败尝试的 raw-data.json 会被保留, 因此即使重试掩盖了失败, 失败日志仍然存在.
识别结果反复的测试
历史趋势
历史记录会为每个测试与浏览器或设备组合的每次运行保留一行. 可按会话、天或周查看趋势: 出现回归、已恢复、仍有故障和变慢.
风险排名
排名根据测试结果反复变化、失败或耗时的频率对测试排序, 并通过对历史记录进行逻辑回归来预测风险, 数据不足时则使用 EWMA 作为备选方法.
运行不足五次, 不判定为不稳定
运行次数少于五次时,历史记录和风险排名都不会将任何测试判定为不稳定,因为一两次运行无法体现规律.
常见问题
重试会掩盖真正的缺陷吗?
如果状态只有通过和失败,确实会这样,因为重试通过就会让红色的运行结果变绿.Nexus StudioQA 会保留重试记录:先失败后通过的测试会被标记为 FLAKY,而不是 SECURE,并显示在报告和历史记录中.
FLAKY 测试会导致构建失败吗?
不会.FLAKY 在 CI 中以退出码 0 结束,不会创建 Jira 工单,也不会保留视频,但仍会显示为有保留的通过.
为什么 Playwright 测试会不稳定?
常见原因包括:共享或残留数据,等待了错误的条件,不稳定的定位器,环境问题,或真实存在的间歇性缺陷.重试是发现测试不稳定的手段,而不是修复方法.
FLAKY 会说明测试为什么不稳定吗?
不会.它只表示各次尝试的结果不一致.原因出在应用还是测试中,仍需人工排查.关闭重试时,间歇性失败会被判定为 BREACHED.