一款混沌测试工具, 适用于你现有的测试.
Nexus StudioQA 中的 Chaos Lab 会在某个测试运行时向浏览器注入故障: 网络延迟, 短时断网, CPU 降速或依赖故障. 如果测试在故障下仍通过, 运行结果为 CHAOS_RESILIENT; 如果未通过, 则为 CHAOS_BREACHED; 如果故障始终未生效, 则为 CHAOS_NOT_INJECTED, 此时无法判断韧性.
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
故障模式
| 模式 | 功能 | 默认 |
|---|---|---|
| network | 将每个请求延迟指定时长; 约 20% 的请求会再延迟几百毫秒 | 400 ms |
| offline | 在前 30 秒内的随机时刻断网一次 | 5000 ms |
| cpu | 将 CPU 速度降至四分之一; 仅限 Chromium | 4x, 固定 |
| all | 同时施加网络, CPU 和离线故障 | 采用上述默认值 |
| dependency | 对你指定的一个 URL 返回 429, 500, 503, 或模拟响应缓慢, 挂起或响应体截断 | 由你设置 |
丢包和内存压力可叠加到任何模式上. 依赖故障还会监测重试风暴: 10 秒内向故障 URL 发出超过 10 次请求. 可使用 nexus patrol TC01 --chaos=network 或在 Chaos Lab 界面中运行故障测试.
如何判定混沌测试运行结果
| 判定 | 含义 |
|---|---|
| CHAOS_RESILIENT | 故障生效时测试通过 |
| CHAOS_BREACHED | 测试在故障下失败 |
| CHAOS_NOT_INJECTED | 测试通过, 但没有故障生效, 例如在 Firefox 上使用 cpu 模式. 此情况不视为有效结果, 不计入任何比率 |
判定页面 列出了完整规则. 混沌测试运行会归档到独立的证据文件夹中, 因此故障注入导致的失败不会影响真实测试套件的稳定性统计.
不仅检查断言, 还检查稳态
测试即使通过, 在故障下也可能慢得多. Chaos Lab 会将每次运行的耗时与同一测试在同一浏览器上无故障运行时的耗时中位数进行比较. 耗时超过该基线 2 倍的运行会被标记为偏离稳态 (容差由 NEXUS_CHAOS_TOLERANCE 指定). 它还会记录故障下测得的 Web Vitals. 随着运行次数积累, 每个测试都会获得韧性标签: 90% 及以上为 RESILIENT, 70% 起为 TOLERANT, 50% 起为 FRAGILE, 低于 50% 为 VULNERABLE.
基础设施故障
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> 会故意使已注册的 Docker 容器或 Nexus 启动的应用停止运行,并评估其是否恢复:RESILIENT、DEGRADED 或 NOT_RECOVERED。执行前需要授权,--restore 可撤销尚未清除的故障。
不涵盖的范围
API 测试运行时不注入混沌故障。混沌测试会跳过 Firefox 上的 Selenium,因为它会在未注入故障的情况下通过。--chaos 和 --visual 不能同时使用。
常见问题
需要为混沌测试重写现有测试吗?
不需要。故障会在现有测试运行期间注入,支持 Playwright,以及 Chromium 上的 Python 和 Selenium。请先在无故障的情况下运行每个测试一次,为稳态检查建立基线。
CHAOS_NOT_INJECTED 是什么意思?
测试通过了,但故障始终未生效。例如,CPU 限速仅在 Chromium 中有效。这种结果既不计为具有韧性,也不计为违约,因此不会使相应比率升高或降低。
混沌测试会破坏我的生产系统吗?
浏览器故障只作用于被测页面,不会影响服务器。基础设施故障作用于您注册的容器,执行前会请求授权,并可通过恢复操作撤销。请勿将这两类故障用于不属于您的系统。
混沌测试失败算缺陷吗?
它属于韧性问题发现,与常规测试套件分开记录,不会改变实际测试的稳定性指标。