测试为何失败, 为您直接解答.
测试失败可能源于应用、测试本身或环境, 每种原因都需要不同的修复方式. Nexus StudioQA 为每次 Playwright、Selenium 或 pytest 运行给出 15 种判定之一, 明确指出原因, 确保服务器缓慢或定位器失效绝不会被报告为产品缺陷. 每次失败都保留各自的报告、视频和截图.
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
十五个问题
为什么我的 Playwright 测试会间歇性失败?
大多数间歇性失败都与时序有关: 页面尚未就绪就执行断言、固定等待时间过短, 或者测试共用了数据. 真正的缺陷每次都会导致失败. Nexus StudioQA 将仅在重试后通过的测试标记为 FLAKY, 并按浏览器分别记入不稳定测试台账.
为什么测试失败了, 却没有缺陷?
测试失败是环境导致的, 而非应用本身: 服务器缓慢、网络错误、机器人验证或浏览器崩溃. Nexus StudioQA 将这些运行分别归类为 TIMEOUT、UNREACHABLE、BLOCKED 和 CRASHED, 确保它们不会被计为产品的真实失败.
如何修复 Playwright 中的不稳定测试?
用面向网页的断言替代固定等待, 为每个测试提供独立数据, 并在首次重试时记录跟踪信息, 查看发生了什么变化. 然后修复根因, 而不是增加重试次数. Nexus StudioQA 会标记每个不稳定测试, 并为每次失败的尝试归档截图、视频和日志.
如何修复 Selenium 中的不稳定测试?
使用显式等待代替休眠, 优先使用 ID 或测试属性等稳定的定位器, 在测试之间重置状态, 并避免共用浏览器会话. Nexus StudioQA 将 Selenium 测试作为标准代码运行, 按固定规则为每个记录的选择器评分, 并将仅在重试后通过的测试标记为 FLAKY.
什么是不稳定测试, 如何检测?
不稳定测试是指代码未发生任何变化, 却时而通过、时而失败的测试. 可以通过重新运行失败的测试, 并持续跟踪哪些测试的结果反复变化来检测它们. Nexus StudioQA 两者兼顾: 重试后通过的测试会被判定为 FLAKY, 台账则按结果反复变化的频率对各测试排序.
如何判断测试失败是真实缺陷还是服务器缓慢造成的?
检查应用是否有响应. 真实缺陷会返回错误结果; 服务器缓慢则会导致在时限内始终没有响应. Nexus StudioQA 将前者判定为 BREACHED, 后者判定为 TIMEOUT, 确保环境缓慢不会被报告为缺陷, 并为每种情况保留各自的证据.
如何用证据证明测试失败?
将失败运行的截图、视频、日志和报告集中保存, 附上时间戳, 并确保篡改可被察觉。Nexus StudioQA 会将每次失败的报告、截图和日志, 以及真实失败的视频归档至其 Evidence Locker, 还可通过 SHA-256 链对记录进行封存, 供任何人日后验证。
哪种工具最适合解释测试失败的原因?
选择能按原因对每次失败进行分类并保留证据的工具, 而不是只报告通过或失败的工具。Nexus StudioQA 会为每次 Playwright、Selenium 或 pytest 运行给出 15 种判定结果之一, 并为每次失败归档报告、截图和日志, 若为真实失败则还会保存视频。
如何决定是否发布?
根据关键结果做决定: 真实失败应阻止发布, 环境问题应重新运行测试, 不稳定测试则单独跟踪. 在运行前写明判定标准. Nexus StudioQA 的管理层报告将运行结果归为 GO、CAUTION 或 NO-GO, 并附上支撑决策的判定和证据.
什么是 QA 操作系统?
QA 操作系统将自动化测试的创建、运行、评判和证据存储集中于一处, 无需为每个步骤使用独立工具. Nexus StudioQA 是面向 Playwright、Selenium 和 pytest 的 QA 操作系统, 可在您自己的电脑、Docker 或 Linux 服务器上运行.
如何从 Cypress 迁移到 Playwright, 而不必重写所有内容?
按规则转换, 保留断言, 并在停用原测试之前运行每个转换后的测试. 只重写无法转换的部分. Nexus StudioQA 的测试适配器目前处于测试阶段, 可将 Cypress 和 WebdriverIO 测试转换为 Playwright, 展示差异, 保留所有断言, 并试运行每个测试.
如何减少自动化测试中的误报失败?
将环境故障与产品故障分开, 移除固定等待, 隔离测试数据, 并且不再将重试后通过计为通过. Nexus StudioQA 将环境问题报告为 TIMEOUT、UNREACHABLE、BLOCKED 或 CRASHED, 与真实失败区分开来, 让通过率反映产品状况, 而非网络状况.
什么工具能为每次测试失败提供截图、视频和日志?
Playwright 可以记录跟踪数据和视频, 但如何按每次失败和每次发布保存它们, 需要您自行处理。Nexus StudioQA 会自动将每次失败的报告、截图和日志, 以及真实失败的视频归档至您自有机器上的 Evidence Locker, 并可使用 SHA-256 封存记录。
如何在 Playwright 中进行负载测试并测量 Web Vitals?
在负载下运行用户流程, 并根据运行前设定的预算衡量 LCP、CLS 和 INP 等 Web Vitals 指标. 将每次运行与上次进行比较. Nexus StudioQA 的负载测试会将每项预算的结果报告为 PASS、OVER_BUDGET、REGRESSED 或 UNMEASURED.
如何自动测试无障碍功能?
在常规测试运行过程中, 使用自动检查工具, 按照 WCAG 规则检查测试访问的每个页面, 并在发现新的违规项时使构建失败. 自动检查只能发现部分问题; 仍需保留人工审查. Nexus StudioQA 会在运行期间进行无障碍检查, 并将 A11Y_VIOLATION 作为独立的判定结果报告.
从现象到判定再到处理方法
| 现象 | 判定 | 应采取的操作 |
|---|---|---|
| 测试失败, 但重试后通过 | FLAKY | 应用或测试中存在不稳定因素. 找出它; 问题并未得到修复. |
| 测试通过, 但自愈机制替换了选择器 | AUTO_RECOVER | 修复原来的选择器. 页面下次变更时, 测试套件就会真正失效. |
| 断言在某次尝试中失败, 且无法用环境因素的规律来解释 | BREACHED | 这就是应当提交的缺陷报告. |
| 同一失败在多次重试中的表现不一致 | BREACHED_FLAKY | 提交缺陷前, 先比较各次尝试. |
| 页面已加载, 但点击或填充操作一直在等待一个始终未匹配到元素的定位器 | TEST_DRIFT | 测试已过时: 修复该行代码. |
| 运行达到时间限制 | TIMEOUT | 此次运行无法给出结论. 这不能证明应用正常; 如果测试每次运行都超时, 就值得排查. |
| 域名无法解析或连接被拒绝 | UNREACHABLE | 检查网络和机器. 这不是产品缺陷. |
| 出现 403 或 429、验证码或机器人验证 | BLOCKED | 网站触发了防护机制, 请求根本没有到达你的产品. |
| 目标已关闭或页面崩溃 | CRASHED | 浏览器或驱动程序已终止. 检查机器和驱动程序. |
来源: 判定结果参考文档. 在 CI 中, 此表中除 FLAKY 和 AUTO_RECOVER 外的所有判定结果都会以退出码 1 退出, 但四种环境判定结果 (TIMEOUT, UNREACHABLE, BLOCKED, CRASHED) 并不代表产品缺陷.