您的测试仍使用 Playwright, Selenium 和 pytest。我们不会替换它们。我们让它们满足企业级要求,而代码、证据和历史记录始终归您所有。

不稳定测试检测 让每次重试都有迹可查.

不稳定测试检测可区分多次尝试结果不一致的测试与真实缺陷. Nexus StudioQA 会记录 Playwright 和 Selenium 运行中的每次重试: 失败后重试通过的测试标记为 FLAKY, 仅尝试一次就失败的测试标记为 BREACHED, 而故障本身也表现不一致的测试则标记为 BREACHED_FLAKY. 重试绝不会把缺陷变成绿色通过的运行结果.

作者:Verdict System LLC 的 Nexus StudioQA 团队。

最后更新: .

三种判定, 一条规则

FLAKY 仅表示多次尝试的结果不一致, 不代表其他含义. 仅尝试一次且未重试的失败绝不会被标记为不稳定.

判定尝试次数最后一次尝试CI 退出码失败录像
FLAKY失败后已重试通过0No
BREACHED一次失败1默认保留数量
BREACHED_FLAKY失败后已重试失败1默认保留数量

如何计算重试次数

  • 由尝试编号决定

    重试编号大于零且通过的测试会标记为 FLAKY, 但如果选择器经过修复, 则标记为 AUTO_RECOVER. 只有重试编号为零且选择器未经过修复, 才算一次干净的通过.

  • 先排查环境

    在将故障判定为 BREACHED 或 BREACHED_FLAKY 之前, 引擎会先排除测试框架错误、崩溃、阻断、主机无法访问和超时. 超时或 CAPTCHA 验证不会被当作缺陷报告.

  • 首次尝试缓慢不等于测试不稳定

    如果首次尝试仅因耗时、浏览器关闭或等待元素可见而失败, 随后重试通过, 则判定为 SECURE: 这表明存在延迟, 而非不稳定.

  • 次数随运行记录保留

    历史记录的每一行都会记录 retry_attempt 和 attempts. 失败尝试的 raw-data.json 会被保留, 因此即使重试掩盖了失败, 失败日志仍然存在.

识别结果反复的测试

  • 历史趋势

    历史记录会为每个测试与浏览器或设备组合的每次运行保留一行. 可按会话、天或周查看趋势: 出现回归、已恢复、仍有故障和变慢.

  • 风险排名

    排名根据测试结果反复变化、失败或耗时的频率对测试排序, 并通过对历史记录进行逻辑回归来预测风险, 数据不足时则使用 EWMA 作为备选方法.

  • 运行不足五次, 不判定为不稳定

    运行次数少于五次时,历史记录和风险排名都不会将任何测试判定为不稳定,因为一两次运行无法体现规律.

常见问题

  • 重试会掩盖真正的缺陷吗?

    如果状态只有通过和失败,确实会这样,因为重试通过就会让红色的运行结果变绿.Nexus StudioQA 会保留重试记录:先失败后通过的测试会被标记为 FLAKY,而不是 SECURE,并显示在报告和历史记录中.

  • FLAKY 测试会导致构建失败吗?

    不会.FLAKY 在 CI 中以退出码 0 结束,不会创建 Jira 工单,也不会保留视频,但仍会显示为有保留的通过.

  • 为什么 Playwright 测试会不稳定?

    常见原因包括:共享或残留数据,等待了错误的条件,不稳定的定位器,环境问题,或真实存在的间歇性缺陷.重试是发现测试不稳定的手段,而不是修复方法.

  • FLAKY 会说明测试为什么不稳定吗?

    不会.它只表示各次尝试的结果不一致.原因出在应用还是测试中,仍需人工排查.关闭重试时,间歇性失败会被判定为 BREACHED.

在您自己的机器上运行。

在您自己的机器上免费试用所有功能。无需信用卡。