取证式测试判定:用 15 种结果取代通过或失败。
取证式测试判定以明确命名的结果取代通过或失败,指出结果的责任归属。Nexus StudioQA 为每次运行给出 15 种判定之一:完全通过、有保留地通过、应用故障、测试过时,或超时、反机器人拦截等环境问题。只有归因于应用的失败才会形成缺陷报告。
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
按组列出的 15 种判定
这 15 种判定分别是 SECURE、CHAOS_RESILIENT、AUTO_RECOVER、FLAKY、PERFORMANCE_DEGRADED、A11Y_VIOLATION、SECURITY_VIOLATION、BREACHED、BREACHED_FLAKY、CHAOS_BREACHED、TEST_DRIFT、TIMEOUT、UNREACHABLE、BLOCKED 和 CRASHED。
| 分组 | 判定结果 | CI 退出码 | 这算是缺陷报告吗? |
|---|---|---|---|
| 通过 | SECURE, CHAOS_RESILIENT | 0 | No |
| 有保留地通过 | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | 不算, 但报告和历史记录会显示保留意见 |
| 应用程序出了故障 | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | 是 |
| 测试已过时 | TEST_DRIFT | 1 | 是,针对测试: 修复该行 |
| 环境存在问题 | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
引擎如何选择判定
依次回答三个问题
测试是否产生了结果?如果通过了,是否完全通过?如果失败了,责任在于测试框架、环境还是应用?
固定的模式匹配顺序
遇到失败时,引擎会按固定顺序将错误消息和网络日志与各组模式进行匹配。首先匹配的组决定判定,因此顺序本身就是设计的一部分。匹配同时涵盖 Playwright 和 Selenium WebDriver 的错误表述。
并非所有情况都会得到判定
SKIPPED、INTERRUPTED 和 CONFIG_ERROR 不在这 15 种判定之列,因为它们都无法说明应用的状况。它们不会生成证据文件夹,也不会在历史记录中添加行。
如何为环境故障命名
| 判定 | 引擎观察到的情况 | 含义 |
|---|---|---|
| TIMEOUT | Playwright 的 Timeout 30000ms exceeded、Selenium 的 Wait timed out after、TimeoutError | 运行未能及时响应。页面缓慢并不能证明应用存在故障。 |
| UNREACHABLE | 在观测到任何页面之前,出现域名无法解析、连接被拒绝或机器离线的情况 | 完全无法连接到主机。 |
| BLOCKED | 403 或 429、CAPTCHA 验证码、访问被拒绝页面或反机器人验证 | 网站触发了防护,请求并未到达您的产品。 |
| CRASHED | Target closed、Page crashed、DevTools 协议错误、SessionNotCreatedError | 浏览器或驱动程序异常终止:请检查机器和驱动程序。 |
完整规则在哪里
本页为摘要。15 种判定如何确定按引擎的应用顺序列出了完整规则,并说明了该方法的局限。判定索引为每种判定提供独立页面,逐一解答。
常见问题
有保留意见的通过在 CI 中算通过吗?
是的. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION 和 SECURITY_VIOLATION 的退出码均为 0, 因此不会导致构建失败. 保留意见会显示在报告和历史记录中.
TIMEOUT 是否意味着应用运行正常?
不是. TIMEOUT 不能证明应用运行正常. 它表示本次运行无法得出结论, 因此不会被报告为应用缺陷. 如果某项测试每次运行都超时, 就值得排查.
无障碍或安全检查能改变判定结果吗?
只有在设置中将这些检查设为严格模式后才可以. 此时, 对于已通过的测试, 这些检查可以按优先顺序将判定结果改为 SECURITY_VIOLATION, A11Y_VIOLATION 或 PERFORMANCE_DEGRADED. 已失败的测试绝不会升级判定.
分类有多可靠?
分类依据的是错误文本, 因此包含 403 或 Forbidden 的自定义断言消息可能会被判为 BLOCKED. 请确保自定义消息具体明确, 如果判定结果出乎意料, 请打开 metadata.json 查看.