负载测试和 Web Vitals 以预算为标准.
Nexus StudioQA 从 JSON 文件或负载界面运行负载场景,并根据运行前设定的预算进行评估.每次运行最终判定为 PASS, OVER_BUDGET, REGRESSED 或 UNMEASURED.在浏览器测试中,开启严格模式后,LCP, CLS 和 INP 超出预算可将通过的测试变为 PERFORMANCE_DEGRADED.
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
四种负载测试判定结果
| 判定 | 判定条件 |
|---|---|
| PASS | 至少有一项标准可检查,且所有标准均已满足 |
| OVER_BUDGET | 未满足某项标准,或开放模型中无法启动的迭代次数超过请求迭代总数的 1% |
| REGRESSED | 未超出预算,但 p95 超过最近通过的运行中 p95 中位数的 1.25 倍,且至少比该中位数高 25 ms |
| UNMEASURED | 无法检查任何项目:未设置标准,尝试次数少于 5 次,用于计算 p95 的有效样本少于 5 个,或探针无法测量某项 Web Vitals 预算指标 |
REGRESSED 的基线取自相同场景,目标,模型和用户数下最近 5 次通过的运行,至少需要 3 次.目标完全不可用时会判定为 OVER_BUDGET,而非 UNMEASURED,因为错误率是根据尝试次数评估的.启用 strict 后,OVER_BUDGET 和 REGRESSED 会使进程以退出码 1 结束,从而可停止流水线.
负载测试运行的工作方式
场景定义目标,步骤及其断言,思考时间,以及封闭模型(1 至 5000 个用户)或开放模型(请求速率).虚拟用户通过工作线程发送 HTTP 请求,报告会提供百分位数,吞吐量和错误率,绝不只提供平均值.发送请求前有两项安全措施:必须先输入 AUTHORIZED,如果目标不是本机,还需要添加 --yes.结果保存到 evidence/load-runs.
Web Vitals
使用 --vitals 时,Playwright Chromium 中的探针会在施加负载前,期间和结束后加载页面,并检查 LCP, FCP, CLS, TBT 和 TTFB 的 p75 预算.此处不支持 INP,因为探针不会与页面交互.在浏览器测试中,引擎会在每次运行时测量 LCP, CLS 和 INP,并对照 NEXUS_PERF_LCP, NEXUS_PERF_CLS 和 NEXUS_PERF_INP 中的预算进行评估.默认阈值遵循 web.dev:
| 指标 | 良好上限 | 差值下限 |
|---|---|---|
| LCP | 2500 ms | 4000 ms |
| CLS | 0.1 | 0.25 |
| INP | 200 ms | 500 ms |
这些是通过脚本加载页面得到的实验室数据,用于在固定配置下发现性能退化,并非真实用户的实测数据.INP 需要点击或按键操作,因此只加载页面的测试不会产生 INP.只有当 NEXUS_PERF_STRICT 为 true 时,超出预算才会将测试变为 PERFORMANCE_DEGRADED;否则只会记录并显示在报告中.
在发布报告中
执行摘要报告会将以 OVER_BUDGET 或 REGRESSED 状态结束的负载运行计为失败,显示最近一次运行,并在最近一次负载运行状态不是 PASS 或 UNMEASURED 时添加建议。
常见问题
负载生成器会驱动真实浏览器吗?
不会。虚拟用户发送 HTTP 请求,负载生成器通过这种方式模拟数千名用户。Playwright Chromium 仅用于 Web Vitals 探测和浏览器测试。
为什么运行状态是 UNMEASURED 而不是 PASS?
因为没有任何可检查的项目,例如未设置标准、样本太少而无法计算百分位数,或探针无法读取 Web Vitals 预算。未经检查的预算不能算作通过。
我可以对任何网站进行负载测试吗?
只能测试您拥有的系统,或已获得书面测试许可的系统。即使目标是 localhost,工具也会要求您输入 AUTHORIZED;如果目标不是本机,还需要使用
--yes。页面速度慢会导致测试失败吗?
仅在严格模式下会。默认情况下,超出性能预算只会记录为提示。设置
NEXUS_PERF_STRICT=true后,测试状态会变为 PERFORMANCE_DEGRADED,但在 CI 中仍以退出码 0 结束。