基于您自己的历史记录进行 AI 测试风险预测。
Nexus StudioQA 为每个测试与浏览器组合的下次运行问题风险打分,分值范围为 0 到 100。使用纯 JavaScript 编写的逻辑回归模型会从您机器上的运行历史中学习。当历史记录不足时,则改用指数加权平均。每个评分都会列出其背后的影响因素。
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
参考哪些数据
对于每个测试与浏览器组合,预测器会按时间顺序读取历史记录中的运行数据,并从最近 10 次运行中构建八项特征。
| 功能 | 衡量哪些指标 |
|---|---|
| fail_rate_5, fail_rate_10 | 最近 5 次和最近 10 次运行中出现问题的比例 |
| flaky_rate_10 | 需要重试或表现不稳定的运行所占比例 |
| alternation | 结果在通过和失败之间切换的频率 |
| last_problem | 上次运行是否出现问题 |
| streak_signed | 当前连续状态: 连续出现问题为正值,连续通过为负值 |
| duration_cv, duration_drift | 耗时的波动程度,以及上次运行耗时与中位数的对比 |
问题运行指结果为 BREACHED、BREACHED_FLAKY、TEST_DRIFT、TIMEOUT、CRASHED、UNREACHABLE 或 BLOCKED 的运行。混沌测试运行被有意排除,因为其中的失败是人为注入的,会让模型学到错误的规律。
模型及其后备方案
| 情况 | 方法 | 输出 |
|---|---|---|
| 至少 12 个合并样本,其中至少 4 个有问题,4 个无问题 | 逻辑回归,使用所有测试和浏览器的滑动窗口数据共同训练 | 根据模型概率得出的 0 到 100 分 |
| 样本数少于上述数量 | 启发式算法: 50% 问题的指数加权移动平均值(EWMA), 20% 结果交替程度, 20% 不稳定率, 10% 耗时不稳定性 | 0 到 100 分 |
| 某项测试的运行次数少于 3 次 | 无 | 不显示行; 会报告此类测试的数量 |
60 分及以上为高风险,30 到 59 分为中风险,其余为低风险。模型区块报告其相对于多数类基线的准确率,使用留一交叉验证(超过 200 个样本时使用 5 折交叉验证)测量,而不是在自身训练数据上的准确率。
不稳定、已损坏或不明确
每次都失败的测试是可预测的: 它已损坏,重试也无济于事。因此,每行还会标明一种模式。结果交替表示不稳定,失败率达到 80% 或以上且结果不交替表示已损坏,其他情况则为不明确。Studio 也以同样的方式对测试排名,分为三个独立列表: 非确定性、已损坏,以及失败运行耗费的时间(秒)。一个测试与浏览器的组合至少需要运行 5 次,其比率才会被视为有效结论。
运行位置与显示位置
通过 nexus predict [TC] [--browser b] [--json] [--no-save] 运行,并将 evidence/mlops/flakiness-predictions.json 写入工作区。Studio 会在 Evidence Locker 中显示排名。它不使用外部服务,也不需要额外依赖: 训练使用纯 JavaScript,因此历史记录始终保留在你的机器上。
常见问题
这是大语言模型吗?
不是。这是一个使用纯 JavaScript、根据你的运行历史训练的小型逻辑回归模型。它具有确定性: 相同的历史记录会得出相同的分数。
它会预测应用程序中的缺陷吗?
它预测的是测试在下次运行时出现问题的风险,包括测试不稳定和环境故障。它不会读取你的代码,也不会指出具体哪里出了问题。
它需要多少历史记录?
一项测试至少运行 3 次后才能评分。训练模型至少需要 12 个合并样本,其中至少有 4 次问题运行和 4 次无问题运行; 在此之前使用 EWMA 启发式算法。
为什么分数会显示影响因素?
每个分数最多列出三条易于理解的原因,例如最近几次运行的问题率较高,或通过和失败交替出现,以便对照历史记录核查排名。