您的测试仍使用 Playwright, Selenium 和 pytest。我们不会替换它们。我们让它们满足企业级要求,而代码、证据和历史记录始终归您所有。

Go/No-Go 发布决策 基于您的测试运行结果。

Nexus StudioQA 执行摘要报告会根据您的测试历史作出发布决策。它会计算所有测试的平均稳定性评分:评分至少为 90 且没有未解决的失败项时,判定为准予发布;未满足该条件但评分至少为 70 时,判定为谨慎发布;低于 70 时,判定为不予发布。报告会列出每项标准及其测量值。

作者:Verdict System LLC 的 Nexus StudioQA 团队。

最后更新: .

具体规则

决策规则报告措辞
Go置信评分不低于 90 且没有未解决的失败项发布: 准予
谨慎发布未满足准予发布条件,但置信评分不低于 70发布: 谨慎
No-Go置信评分低于 70发布: 不予

阈值 90 和 70 是报告代码中的固定数值,而非可配置设置。封面和摘要会列出三项标准及各自的测量值,因此不予发布的判定会指出哪项标准未达标,而不是仅显示红色。

评分的来源

每项测试都会根据其历史记录获得一个稳定性标签。置信评分是这些标签对应分值的平均值,经四舍五入得出。

标签分值历史记录赋予该标签的条件
STABLE100通过率不低于 90%,且不稳定率低于 5%
UNSTABLE70通过率不低于 70%
FLAKY40通过率低于上述标准,且不稳定率不低于 15%
CRITICAL0其他所有内容

不稳定的运行计为不稳定,而非通过,因此只有重试后才能通过的测试会拉低评分。未解决的失败是指证据文件夹中尚未被排除为误报、也尚未修复的失败记录。

管理层报告包含哪些内容

报告根据您机器上的证据生成,以 HTML 格式打开,并支持导出 PDF。报告包含管理层摘要及上一周期的对比数据、每日趋势、按严重程度排序的风险清单、各领域的覆盖情况、未解决的失败及其根本原因、测试稳定性、耗时和错误类别、建议、签核页和附录。您可以将报告范围设为最近 7、30 或 90 天、全部历史记录或指定日期范围。

常见问题

  • 可以修改 90 和 70 这两个阈值吗?

    不可以。这两个阈值在报告代码中是固定的。您可以控制的是报告覆盖的时间范围,以及将哪些失败排除为误报。

  • 一个未解决的失败就会阻止放行吗?

    是的。放行要求评分至少达到 90 分,且没有未解决的失败。只要有一个未解决的失败,即使评分达到 70 分,最好的结果也只能是谨慎放行。

  • 报告需要联网吗?

    不需要。报告根据您本机上的测试、结果和证据生成。Studio 唯一会主动发起的联网操作是许可证检查。

  • 该决策能替代人工签核吗?

    不能。它只是决策参考。报告提供了供决策者使用的签核页,其建议中也列出了发布前需要检查的事项。

获取有证据支撑的发布决策。

一切都在您自己的机器上运行。无需信用卡。