テストには引き続きPlaywright, Selenium, pytestを使えます. 私たちはそれらを置き換えるのではありません. 企業での運用に対応させるものであり, コードも証跡も履歴もお客様のものです.

不安定なテストを検出 再試行の記録も見えるままに。

不安定なテストの検出では、試行ごとに結果が異なるテストと実際の不具合を区別します。Nexus StudioQA は Playwright と Selenium の実行におけるすべての再試行を記録します。失敗後の再試行で成功した場合は FLAKY、1回の試行で失敗した場合は BREACHED、失敗自体にも一貫性がない場合は BREACHED_FLAKY です。再試行によって不具合が成功扱いになることはありません。

執筆: Verdict System LLCのNexus StudioQAチーム。

最終更新日: .

3つの判定、1つの原則

FLAKY が意味するのは、試行間で結果が異なったということだけです。再試行なしの1回の試行での失敗が、不安定と判定されることはありません。

判定試行回数最後の試行CI 終了コード失敗時の動画
FLAKY失敗後に再試行合格0No
BREACHED1回失敗1デフォルトで保持される項目
BREACHED_FLAKY失敗後に再試行失敗1デフォルトで保持される項目

リトライのカウント方法

  • 試行番号で決まる判定

    再試行番号が0より大きい成功テストは FLAKY です。ただし、セレクターが修復された場合は AUTO_RECOVER になります。問題のない成功と判定されるには、再試行番号が0で、セレクターの修復もないことが必要です。

  • まず実行環境を確認

    失敗を BREACHED または BREACHED_FLAKY と判定する前に、エンジンはテスト実行基盤のエラー、クラッシュ、ブロック、ホストへの接続不能、タイムアウトを除外します。タイムアウトや CAPTCHA が不具合として報告されることはありません。

  • 初回の試行が遅いだけでは不安定としない

    初回の試行が時間超過、ブラウザーの終了、表示待ちだけを理由に失敗し、再試行で成功した場合、判定は SECURE です。これは不安定さではなく遅延を示すためです。

  • 試行回数も実行記録に保存

    履歴の各行には retry_attempt と attempts が記録されます。失敗した試行の raw-data.json は保持されるため、再試行によって失敗が隠れても、そのログは残ります。

結果が反転するテストの検出

  • 履歴から見る傾向

    履歴には、各テストとブラウザーまたはデバイスについて、実行ごとに1行が保存されます。セッション別、日別、週別に、悪化、回復、不具合継続、低速化の傾向を表示します。

  • リスク順位

    結果の変動、失敗、時間消費の頻度に応じてテストを順位付けします。履歴に対するロジスティック回帰でリスクを予測し、データが少ない場合は EWMA を代わりに使用します。

  • 実行が5回未満なら不安定と判定しない

    実行回数が5回未満の場合、履歴とリスク順位では不安定との判定を行いません。1、2回の実行では傾向がわからないためです。

よくある質問

  • 再試行は本物のバグを隠してしまうのでしょうか?

    状態が合格と不合格だけなら、その可能性があります。再試行で合格すると、赤だった実行結果が緑に変わるためです。Nexus StudioQAでは再試行の事実が見える形で残ります。一度失敗した後に合格したテストはSECUREではなくFLAKYとなり、レポートと履歴に表示されます。

  • FLAKYのテストはビルドを失敗させますか?

    いいえ。FLAKYはCIで終了コード0を返し、Jiraチケットを作成せず、動画も保存しません。ただし、留保付きの合格として表示され続けます。

  • Playwrightのテストが不安定になるのはなぜですか?

    主な原因: 共有データや残存データ、待機対象の誤り、不安定なロケーター、実行環境、あるいは実際に断続的に発生する不具合です。再試行はテストの不安定さを見つける手段であり、解決策ではありません。

  • FLAKYでテストが不安定な理由はわかりますか?

    いいえ。試行ごとに結果が異なったことを示すだけです。アプリケーションやテストの原因を調べる作業は、引き続き人が行う必要があります。再試行が無効の場合、断続的な失敗はBREACHEDになります。

お客様自身のマシンで実行しましょう。

お使いのマシンで全機能を無料でお試しください. カードは不要です.