您的测试仍使用 Playwright, Selenium 和 pytest。我们不会替换它们。我们让它们满足企业级要求,而代码、证据和历史记录始终归您所有。

取证式测试判定:用 15 种结果取代通过或失败。

取证式测试判定以明确命名的结果取代通过或失败,指出结果的责任归属。Nexus StudioQA 为每次运行给出 15 种判定之一:完全通过、有保留地通过、应用故障、测试过时,或超时、反机器人拦截等环境问题。只有归因于应用的失败才会形成缺陷报告。

作者:Verdict System LLC 的 Nexus StudioQA 团队。

最后更新: .

按组列出的 15 种判定

这 15 种判定分别是 SECURE、CHAOS_RESILIENT、AUTO_RECOVER、FLAKY、PERFORMANCE_DEGRADED、A11Y_VIOLATION、SECURITY_VIOLATION、BREACHED、BREACHED_FLAKY、CHAOS_BREACHED、TEST_DRIFT、TIMEOUT、UNREACHABLE、BLOCKED 和 CRASHED。

分组判定结果CI 退出码这算是缺陷报告吗?
通过SECURE, CHAOS_RESILIENT0No
有保留地通过AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0不算, 但报告和历史记录会显示保留意见
应用程序出了故障BREACHED, BREACHED_FLAKY, CHAOS_BREACHED1是
测试已过时TEST_DRIFT1是,针对测试: 修复该行
环境存在问题TIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

引擎如何选择判定

  • 依次回答三个问题

    测试是否产生了结果?如果通过了,是否完全通过?如果失败了,责任在于测试框架、环境还是应用?

  • 固定的模式匹配顺序

    遇到失败时,引擎会按固定顺序将错误消息和网络日志与各组模式进行匹配。首先匹配的组决定判定,因此顺序本身就是设计的一部分。匹配同时涵盖 Playwright 和 Selenium WebDriver 的错误表述。

  • 并非所有情况都会得到判定

    SKIPPED、INTERRUPTED 和 CONFIG_ERROR 不在这 15 种判定之列,因为它们都无法说明应用的状况。它们不会生成证据文件夹,也不会在历史记录中添加行。

如何为环境故障命名

判定引擎观察到的情况含义
TIMEOUTPlaywright 的 Timeout 30000ms exceeded、Selenium 的 Wait timed out after、TimeoutError运行未能及时响应。页面缓慢并不能证明应用存在故障。
UNREACHABLE在观测到任何页面之前,出现域名无法解析、连接被拒绝或机器离线的情况完全无法连接到主机。
BLOCKED403 或 429、CAPTCHA 验证码、访问被拒绝页面或反机器人验证网站触发了防护,请求并未到达您的产品。
CRASHEDTarget closed、Page crashed、DevTools 协议错误、SessionNotCreatedError浏览器或驱动程序异常终止:请检查机器和驱动程序。

完整规则在哪里

本页为摘要。15 种判定如何确定按引擎的应用顺序列出了完整规则,并说明了该方法的局限。判定索引为每种判定提供独立页面,逐一解答。

常见问题

  • 有保留意见的通过在 CI 中算通过吗?

    是的. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION 和 SECURITY_VIOLATION 的退出码均为 0, 因此不会导致构建失败. 保留意见会显示在报告和历史记录中.

  • TIMEOUT 是否意味着应用运行正常?

    不是. TIMEOUT 不能证明应用运行正常. 它表示本次运行无法得出结论, 因此不会被报告为应用缺陷. 如果某项测试每次运行都超时, 就值得排查.

  • 无障碍或安全检查能改变判定结果吗?

    只有在设置中将这些检查设为严格模式后才可以. 此时, 对于已通过的测试, 这些检查可以按优先顺序将判定结果改为 SECURITY_VIOLATION, A11Y_VIOLATION 或 PERFORMANCE_DEGRADED. 已失败的测试绝不会升级判定.

  • 分类有多可靠?

    分类依据的是错误文本, 因此包含 403 或 Forbidden 的自定义断言消息可能会被判为 BLOCKED. 请确保自定义消息具体明确, 如果判定结果出乎意料, 请打开 metadata.json 查看.

在您自己的机器上运行。

在您自己的机器上免费试用所有功能。无需信用卡。