テストには引き続きPlaywright, Selenium, pytestを使えます. 私たちはそれらを置き換えるのではありません. 企業での運用に対応させるものであり, コードも証跡も履歴もお客様のものです.

Go/No-Go リリース判断 テスト実行結果に基づいて。

Nexus StudioQA のエグゼクティブレポートは、テスト履歴に基づいてリリース可否を判定します。各テストの安定性の点数を平均し、90点以上かつ未解決の失敗がなければリリース可、70点以上なら要注意、それ未満なら不可と判定します。レポートには各基準とその実測値が記載されます。

執筆: Verdict System LLCのNexus StudioQAチーム。

最終更新日: .

正確な判定規則

判定規則レポートでの表記
Go信頼度が90点以上かつ未解決の失敗がないリリース: 可
要注意リリース可の条件を満たさず、信頼度が70点以上リリース: 要注意
No-Go信頼度が70点未満リリース: 不可

しきい値の90と70はレポートのコード内で固定されており、設定項目ではありません。表紙と概要には、3つの基準とそれぞれの実測値が表示されます。そのため、不可の判定は単に赤く表示されるだけでなく、どの基準を満たさなかったのかがわかります。

点数の算出方法

各テストには、履歴に基づいて安定性の区分が付与されます。信頼度は、各区分の点数の平均を四捨五入した値です。

区分点数履歴に基づく付与条件
STABLE100合格率が90%以上で、結果が不安定な割合が5%未満
UNSTABLE70合格率が70%以上
FLAKY40それ未満で、結果が不安定な割合が15%以上
CRITICAL0その他すべて

実行結果が不安定な場合は成功ではなく不安定として扱われるため、再試行でしか成功しないテストはスコアを下げます. 未解決の失敗とは、証拠フォルダーにある失敗記録のうち、誤検知として除外されておらず、その後も修正されていないものです.

経営層向けレポートの内容

レポートはお使いの端末上の証拠から作成され、HTMLで表示されます。PDFへの出力も可能です. 前期間との比較を含む要約、日別の推移、重大度順のリスク一覧、領域別の網羅状況、未解決の失敗とその根本原因、テストの安定性、実行時間とエラー分類、推奨事項、承認ページ、付録が含まれます. 対象期間は過去7日、30日、90日、全履歴、または任意の日付範囲から選べます.

よくある質問

  • しきい値の90と70は変更できますか?

    いいえ. レポートのコード内で固定されています. 変更できるのは、レポートの対象期間と、どの失敗を誤検知として除外するかです.

  • 未解決の失敗が1件でもあると、実施可の判定は出ませんか?

    はい. 実施可には、スコアが90以上で、未解決の失敗がゼロであることが必要です. 未解決の失敗が1件ある場合、スコアが70以上でも、最良の判定は要注意です.

  • レポートにインターネット接続は必要ですか?

    いいえ. お使いの端末上のテスト、結果、証拠から作成されます. Studioが自動で行う通信は、ライセンス確認のみです.

  • この判定は人による承認の代わりになりますか?

    いいえ. 判断材料の一つです. レポートには判断を下す担当者向けの承認ページがあり、推奨事項にはリリース前に確認すべき項目が記載されています.

根拠となる証拠とともに、リリースの可否を判定.

すべてご自身のマシンで実行されます。クレジットカードは不要です。