不安定なテストを検出 再試行の記録も見えるままに。
不安定なテストの検出では、試行ごとに結果が異なるテストと実際の不具合を区別します。Nexus StudioQA は Playwright と Selenium の実行におけるすべての再試行を記録します。失敗後の再試行で成功した場合は FLAKY、1回の試行で失敗した場合は BREACHED、失敗自体にも一貫性がない場合は BREACHED_FLAKY です。再試行によって不具合が成功扱いになることはありません。
執筆: Verdict System LLCのNexus StudioQAチーム。
最終更新日: .
3つの判定、1つの原則
FLAKY が意味するのは、試行間で結果が異なったということだけです。再試行なしの1回の試行での失敗が、不安定と判定されることはありません。
| 判定 | 試行回数 | 最後の試行 | CI 終了コード | 失敗時の動画 |
|---|---|---|---|---|
| FLAKY | 失敗後に再試行 | 合格 | 0 | No |
| BREACHED | 1回 | 失敗 | 1 | デフォルトで保持される項目 |
| BREACHED_FLAKY | 失敗後に再試行 | 失敗 | 1 | デフォルトで保持される項目 |
リトライのカウント方法
試行番号で決まる判定
再試行番号が0より大きい成功テストは FLAKY です。ただし、セレクターが修復された場合は AUTO_RECOVER になります。問題のない成功と判定されるには、再試行番号が0で、セレクターの修復もないことが必要です。
まず実行環境を確認
失敗を BREACHED または BREACHED_FLAKY と判定する前に、エンジンはテスト実行基盤のエラー、クラッシュ、ブロック、ホストへの接続不能、タイムアウトを除外します。タイムアウトや CAPTCHA が不具合として報告されることはありません。
初回の試行が遅いだけでは不安定としない
初回の試行が時間超過、ブラウザーの終了、表示待ちだけを理由に失敗し、再試行で成功した場合、判定は SECURE です。これは不安定さではなく遅延を示すためです。
試行回数も実行記録に保存
履歴の各行には retry_attempt と attempts が記録されます。失敗した試行の raw-data.json は保持されるため、再試行によって失敗が隠れても、そのログは残ります。
結果が反転するテストの検出
履歴から見る傾向
履歴には、各テストとブラウザーまたはデバイスについて、実行ごとに1行が保存されます。セッション別、日別、週別に、悪化、回復、不具合継続、低速化の傾向を表示します。
リスク順位
結果の変動、失敗、時間消費の頻度に応じてテストを順位付けします。履歴に対するロジスティック回帰でリスクを予測し、データが少ない場合は EWMA を代わりに使用します。
実行が5回未満なら不安定と判定しない
実行回数が5回未満の場合、履歴とリスク順位では不安定との判定を行いません。1、2回の実行では傾向がわからないためです。
よくある質問
再試行は本物のバグを隠してしまうのでしょうか?
状態が合格と不合格だけなら、その可能性があります。再試行で合格すると、赤だった実行結果が緑に変わるためです。Nexus StudioQAでは再試行の事実が見える形で残ります。一度失敗した後に合格したテストはSECUREではなくFLAKYとなり、レポートと履歴に表示されます。
FLAKYのテストはビルドを失敗させますか?
いいえ。FLAKYはCIで終了コード0を返し、Jiraチケットを作成せず、動画も保存しません。ただし、留保付きの合格として表示され続けます。
Playwrightのテストが不安定になるのはなぜですか?
主な原因: 共有データや残存データ、待機対象の誤り、不安定なロケーター、実行環境、あるいは実際に断続的に発生する不具合です。再試行はテストの不安定さを見つける手段であり、解決策ではありません。
FLAKYでテストが不安定な理由はわかりますか?
いいえ。試行ごとに結果が異なったことを示すだけです。アプリケーションやテストの原因を調べる作業は、引き続き人が行う必要があります。再試行が無効の場合、断続的な失敗はBREACHEDになります。