Go/No-Go 发布决策 基于您的测试运行结果。
Nexus StudioQA 执行摘要报告会根据您的测试历史作出发布决策。它会计算所有测试的平均稳定性评分:评分至少为 90 且没有未解决的失败项时,判定为准予发布;未满足该条件但评分至少为 70 时,判定为谨慎发布;低于 70 时,判定为不予发布。报告会列出每项标准及其测量值。
作者:Verdict System LLC 的 Nexus StudioQA 团队。
最后更新: .
具体规则
| 决策 | 规则 | 报告措辞 |
|---|---|---|
| Go | 置信评分不低于 90 且没有未解决的失败项 | 发布: 准予 |
| 谨慎发布 | 未满足准予发布条件,但置信评分不低于 70 | 发布: 谨慎 |
| No-Go | 置信评分低于 70 | 发布: 不予 |
阈值 90 和 70 是报告代码中的固定数值,而非可配置设置。封面和摘要会列出三项标准及各自的测量值,因此不予发布的判定会指出哪项标准未达标,而不是仅显示红色。
评分的来源
每项测试都会根据其历史记录获得一个稳定性标签。置信评分是这些标签对应分值的平均值,经四舍五入得出。
| 标签 | 分值 | 历史记录赋予该标签的条件 |
|---|---|---|
| STABLE | 100 | 通过率不低于 90%,且不稳定率低于 5% |
| UNSTABLE | 70 | 通过率不低于 70% |
| FLAKY | 40 | 通过率低于上述标准,且不稳定率不低于 15% |
| CRITICAL | 0 | 其他所有内容 |
不稳定的运行计为不稳定,而非通过,因此只有重试后才能通过的测试会拉低评分。未解决的失败是指证据文件夹中尚未被排除为误报、也尚未修复的失败记录。
管理层报告包含哪些内容
报告根据您机器上的证据生成,以 HTML 格式打开,并支持导出 PDF。报告包含管理层摘要及上一周期的对比数据、每日趋势、按严重程度排序的风险清单、各领域的覆盖情况、未解决的失败及其根本原因、测试稳定性、耗时和错误类别、建议、签核页和附录。您可以将报告范围设为最近 7、30 或 90 天、全部历史记录或指定日期范围。
常见问题
可以修改 90 和 70 这两个阈值吗?
不可以。这两个阈值在报告代码中是固定的。您可以控制的是报告覆盖的时间范围,以及将哪些失败排除为误报。
一个未解决的失败就会阻止放行吗?
是的。放行要求评分至少达到 90 分,且没有未解决的失败。只要有一个未解决的失败,即使评分达到 70 分,最好的结果也只能是谨慎放行。
报告需要联网吗?
不需要。报告根据您本机上的测试、结果和证据生成。Studio 唯一会主动发起的联网操作是许可证检查。
该决策能替代人工签核吗?
不能。它只是决策参考。报告提供了供决策者使用的签核页,其建议中也列出了发布前需要检查的事项。