Nexus StudioQA 中的视觉回归测试.
Nexus StudioQA 的视觉回归测试会将每次运行的截图与您已批准的基准图像进行比较. 首次使用 --visual 运行时会建立基准. 后续运行会统计变化的像素, 忽略抗锯齿边缘, 并在变化超出容差时保留差异图. 默认情况下, 视觉回归会被记录, 但不会导致测试失败.
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
每次运行比较的内容
两种检查点各有自己的容差: 允许存在差异的像素比例, 超出该比例才算视觉回归.
| 检查点 | 截图内容 | 默认容差 |
|---|---|---|
| 整个页面 | 测试结束时的视口截图, 以 baseline 为名保存. | 1.0% 的像素 (NEXUS_VISUAL_THRESHOLD) |
| 元素 | 单个元素, 在测试中通过 visualCheck(page, 'cart-total', page.locator('#cart-total')) 设置. | 0.1% 的像素 (NEXUS_VISUAL_ELEMENT_THRESHOLD) |
如何判定变化
按浏览器和平台分别保存基准
基准保存在项目文件夹的
visual-baselines/<browser>@<platform>/中, 因此可与代码一起进行版本管理. 由于字体和抗锯齿处理不同, Windows 图像绝不会与 Linux 图像比较. 没有基准的浏览器与平台组合会建立自己的基准.抗锯齿边缘不计入统计
仅因边缘重新混合而发生变化的像素会在差异图中标为琥珀色, 且不计入统计. 当某个颜色通道的差值达到或超过 10 时, 该像素才算发生变化, 可通过 NEXUS_VISUAL_PIXEL_TOLERANCE 在 0 到 255 之间调整此值.
重复截图直到画面稳定
系统会重复截图, 直到连续两张的字节完全一致, 最多截取三张. 始终无法稳定的页面会被报告为不稳定, 而不会悄无声息地成为基准.
尺寸不同时不拉伸图像
两张图像按左上角对齐, 以原始尺寸比较共同覆盖的区域. 未重叠的区域计为差异.
未运行的检查视为失败
如果无法执行比较,例如缺少图像或未安装原生图像库,无论严格模式如何设置,测试都会失败。未实际执行的检查不会被报告为通过。
关键设置
这些设置均位于 Studio 的视觉回归页面,默认值如下。
| 设置 | 默认 | 功能 |
|---|---|---|
| 每次运行都比较像素 | 关闭 | 为每次运行启用比较。--visual 仅为单次运行启用比较。 |
| 出现回归则测试失败 | 关闭 | 设置 NEXUS_VISUAL_STRICT=true 时,像素变化超出容差会导致测试失败。关闭时,只记录回归,保留测试原有判定。 |
| 在每张截图中遮罩 | 无 | 通过 CSS 选择器指定要在每张截图中遮盖的内容,例如时钟或广告 (NEXUS_VISUAL_MASK)。 |
| 保留的回归文件夹数量 | 10 | 为每个测试和检查点保留的最新文件夹数量 (NEXUS_VISUAL_REGRESSION_RETAIN)。 |
需要审查和批准的内容
每次回归及其文件都单独存放在 visual-regression 下,Studio 提供四种视图:并排、滑动、差异和闪烁,并在旁边展示同一检查点的历史运行。
| 文件 | 说明 |
|---|---|
baseline.png | 已批准的图像。 |
current.png | 本次运行的图像。 |
diff.png | 红色表示像素已变化, 琥珀色表示已忽略抗锯齿差异, 灰色表示未变化。 |
visual-report.md | 以纯文本呈现的数值。 |
result.json | 以数据形式呈现的相同结果。 |
它无法告诉你的事
像素比较无法区分计划中的重新设计和缺陷,因此每项变更都需要人工批准:在 Studio 中点击批准此变更可替换一个检查点的图像,在命令行中执行 nexus baseline --update <TC_ID> 也能完成同样的操作。任何会自行变化的内容,例如时钟、广告或头像,都必须加以遮罩,否则比较结果会不断标红。
常见问题
视觉回归会导致测试失败吗?
默认不会。系统会记录回归,并保留测试原有判定。启用
NEXUS_VISUAL_STRICT后,超出容差的回归会导致测试失败。为什么每个操作系统都需要独立的基线?
同一页面在 Windows、Linux 和 macOS 上渲染时,字体、抗锯齿和滚动条会略有不同。跨系统比较会将仅由渲染器造成的差异报告为变更,因此每种浏览器和平台都保留各自的基线。
如何避免时钟或广告导致检查失败?
在视觉设置中使用 CSS 选择器将其遮罩,或针对你关注的页面部分使用元素检查点。元素检查点的容差为整页容差的十分之一,既能严格检查,又不会因广告变化而标红。
基线图像存储在哪里?
存储在项目文件夹中的
visual-baselines内,而非证据文件夹中,因此可以随代码一起提交。回归差异属于运行输出,存放在证据目录下的visual-regression中。