您的测试仍使用 Playwright, Selenium 和 pytest。我们不会替换它们。我们让它们满足企业级要求,而代码、证据和历史记录始终归您所有。

基于您自己的历史记录进行 AI 测试风险预测。

Nexus StudioQA 为每个测试与浏览器组合的下次运行问题风险打分,分值范围为 0 到 100。使用纯 JavaScript 编写的逻辑回归模型会从您机器上的运行历史中学习。当历史记录不足时,则改用指数加权平均。每个评分都会列出其背后的影响因素。

作者:Verdict System LLC 的 Nexus StudioQA 团队。

最后更新: .

参考哪些数据

对于每个测试与浏览器组合,预测器会按时间顺序读取历史记录中的运行数据,并从最近 10 次运行中构建八项特征。

功能衡量哪些指标
fail_rate_5, fail_rate_10最近 5 次和最近 10 次运行中出现问题的比例
flaky_rate_10需要重试或表现不稳定的运行所占比例
alternation结果在通过和失败之间切换的频率
last_problem上次运行是否出现问题
streak_signed当前连续状态: 连续出现问题为正值,连续通过为负值
duration_cv, duration_drift耗时的波动程度,以及上次运行耗时与中位数的对比

问题运行指结果为 BREACHED、BREACHED_FLAKY、TEST_DRIFT、TIMEOUT、CRASHED、UNREACHABLE 或 BLOCKED 的运行。混沌测试运行被有意排除,因为其中的失败是人为注入的,会让模型学到错误的规律。

模型及其后备方案

情况方法输出
至少 12 个合并样本,其中至少 4 个有问题,4 个无问题逻辑回归,使用所有测试和浏览器的滑动窗口数据共同训练根据模型概率得出的 0 到 100 分
样本数少于上述数量启发式算法: 50% 问题的指数加权移动平均值(EWMA), 20% 结果交替程度, 20% 不稳定率, 10% 耗时不稳定性0 到 100 分
某项测试的运行次数少于 3 次无不显示行; 会报告此类测试的数量

60 分及以上为高风险,30 到 59 分为中风险,其余为低风险。模型区块报告其相对于多数类基线的准确率,使用留一交叉验证(超过 200 个样本时使用 5 折交叉验证)测量,而不是在自身训练数据上的准确率。

不稳定、已损坏或不明确

每次都失败的测试是可预测的: 它已损坏,重试也无济于事。因此,每行还会标明一种模式。结果交替表示不稳定,失败率达到 80% 或以上且结果不交替表示已损坏,其他情况则为不明确。Studio 也以同样的方式对测试排名,分为三个独立列表: 非确定性、已损坏,以及失败运行耗费的时间(秒)。一个测试与浏览器的组合至少需要运行 5 次,其比率才会被视为有效结论。

运行位置与显示位置

通过 nexus predict [TC] [--browser b] [--json] [--no-save] 运行,并将 evidence/mlops/flakiness-predictions.json 写入工作区。Studio 会在 Evidence Locker 中显示排名。它不使用外部服务,也不需要额外依赖: 训练使用纯 JavaScript,因此历史记录始终保留在你的机器上。

常见问题

  • 这是大语言模型吗?

    不是。这是一个使用纯 JavaScript、根据你的运行历史训练的小型逻辑回归模型。它具有确定性: 相同的历史记录会得出相同的分数。

  • 它会预测应用程序中的缺陷吗?

    它预测的是测试在下次运行时出现问题的风险,包括测试不稳定和环境故障。它不会读取你的代码,也不会指出具体哪里出了问题。

  • 它需要多少历史记录?

    一项测试至少运行 3 次后才能评分。训练模型至少需要 12 个合并样本,其中至少有 4 次问题运行和 4 次无问题运行; 在此之前使用 EWMA 启发式算法。

  • 为什么分数会显示影响因素?

    每个分数最多列出三条易于理解的原因,例如最近几次运行的问题率较高,或通过和失败交替出现,以便对照历史记录核查排名。

看看哪些测试下次会失败。

一切都在您自己的机器上运行。无需信用卡。