テストが失敗する理由に, 明快に答えます.
テスト失敗の原因はアプリケーション, テスト自体, または環境にあり, それぞれ異なる対処が必要です. Nexus StudioQAはPlaywright, Selenium, pytestの各実行に対し, 原因を示す15種類の判定のいずれかを付けるため, サーバーの遅延や古いロケーターが製品の不具合として報告されることはありません. 失敗ごとに専用のレポート, 動画, スクリーンショットを保存します.
執筆: Verdict System LLCのNexus StudioQAチーム。
最終更新日: .
15の質問
Playwrightのテストが時々失敗するのはなぜですか?
断続的な失敗の多くはタイミングが原因です: ページの準備が整う前に検証が実行される, 固定の待機時間が短すぎる, テスト間でデータを共有しているといった問題です. 実際の不具合なら毎回失敗します. Nexus StudioQAは再試行時にだけ成功するテストをFLAKYと判定し, ブラウザーごとの不安定テスト台帳に記録します.
不具合がないのにテストが失敗するのはなぜですか?
アプリではなく環境が原因でテストが失敗しています: サーバーの遅延, ネットワークエラー, ボット確認, ブラウザーの異常終了などです. Nexus StudioQAはこうした実行をTIMEOUT, UNREACHABLE, BLOCKED, CRASHEDに分類するため, 製品の実際の不具合として集計されることはありません.
Playwrightの不安定なテストを修正するにはどうすればよいですか?
固定時間の待機をWebの状態に応じて自動再試行する検証に置き換え, テストごとに専用のデータを用意し, 最初の再試行でトレースを記録して変化を確認します. そのうえで再試行回数を増やすのではなく, 原因を修正します. Nexus StudioQAは不安定なテストをそれぞれ識別し, 失敗した試行ごとにスクリーンショット, 動画, ログを保存します.
Seleniumの不安定なテストを修正するにはどうすればよいですか?
固定時間のスリープではなく明示的な待機を使い, IDやテスト用属性などの安定したロケーターを優先し, テスト間で状態を初期化し, ブラウザーのセッション共有を避けます. Nexus StudioQAはSeleniumのテストを標準のコードとして実行し, 記録した各セレクターを一定の規則で評価し, 再試行時にだけ成功するテストをFLAKYと判定します.
不安定なテストとは何ですか? どう検出すればよいですか?
不安定なテストとは, コードを一切変更していないのに成功したり失敗したりするテストです. 失敗したテストを再実行し, 時間とともに結果が変わるテストを追跡することで検出できます. Nexus StudioQAはその両方を行います: 再試行で成功したテストはFLAKYと判定され, 台帳では結果が変わる頻度順に各テストが並びます.
テスト失敗の原因が実際の不具合かサーバーの遅延かを見分けるにはどうすればよいですか?
アプリが応答したかを確認します. 実際の不具合では誤った結果が返り, サーバーの遅延では制限時間内に応答がありません. Nexus StudioQAは前者をBREACHED, 後者をTIMEOUTと判定するため, 環境の遅延が不具合として報告されることはなく, それぞれに証拠が保存されます.
テストの失敗を証拠で裏付けるにはどうすればよいですか?
失敗した実行のスクリーンショット, 動画, ログ, レポートをタイムスタンプ付きでまとめて保管し, 改ざんを検知できるようにしましょう. Nexus StudioQAは, すべての失敗のレポート, スクリーンショット, ログに加え, 実際の不具合による失敗の動画をEvidence Lockerに保存します. また, 後から誰でも検証できるSHA-256チェーンで記録を封印できます.
テスト失敗の理由を説明するのに最適なツールは何ですか?
成功か失敗かを報告するだけでなく, 各失敗を原因別に分類し, 証拠を保存するツールを選びましょう. Nexus StudioQAは, Playwright, Selenium, pytestの各実行に15種類の判定のいずれかを付け, 失敗ごとにレポート, スクリーンショット, ログを保存します. 実際の不具合による失敗の場合は動画も保存します.
リリースの可否はどう判断すればよいですか?
重要な結果に基づいて判断します: 実際の不具合があればリリースを止め, 環境の問題なら再実行し, 不安定なテストは別途追跡します. 実行前に基準を文書化しておきます. Nexus StudioQAの経営層向けレポートは実行結果をGO, CAUTION, NO-GOにまとめ, 判断の根拠となる判定と証拠を示します.
QA OSとは何ですか?
QA OSとは, 工程ごとに別々のツールを使うのではなく, 自動テストの作成, 実行, 判定, 証拠の保存を一か所で行う基盤です. Nexus StudioQAはPlaywright, Selenium, pytest向けのQA OSで, お使いのPC, Docker内, Linuxサーバー上で動作します.
すべてを書き直さずにCypressからPlaywrightへ移行するにはどうすればよいですか?
規則に従って変換し, 検証処理を維持し, 変換後の各テストを実行してから元のテストを廃止します. 変換できない部分だけを書き直します. Nexus StudioQAのTest Adapterはベータ版でCypressとWebdriverIOのテストをPlaywrightに変換し, 差分を表示し, すべての検証処理を維持し, 各テストを試行実行します.
自動テストの誤った失敗判定を減らすにはどうすればよいですか?
環境に起因する失敗と製品に起因する失敗を分け, 固定時間の待機をなくし, テストデータを分離し, 再試行での成功を通常の成功として数えるのをやめます. Nexus StudioQAは環境の問題を実際の不具合とは分けてTIMEOUT, UNREACHABLE, BLOCKED, CRASHEDとして報告するため, 成功率はネットワークではなく製品の状態を反映します.
テストが失敗するたびにスクリーンショット、動画、ログを記録できるツールは何ですか?
Playwrightはトレースや動画を記録できますが, 失敗ごと, リリースごとに保管するのは利用者の役割です. Nexus StudioQAは, すべての失敗のレポート, スクリーンショット, ログと, 実際の不具合による失敗の動画を, 自社のマシン上のEvidence Lockerに自動保存し, SHA-256で記録を封印できます.
Playwrightで負荷テストとWeb Vitalsの測定を行うにはどうすればよいですか?
負荷をかけた状態で利用者の一連の操作を実行し、実行前に設定した許容値に対してLCP、CLS、INPなどのWeb Vitalsを測定します. 毎回の実行結果を前回と比較します. Nexus StudioQAの負荷テストは、各許容値に対する結果をPASS、OVER_BUDGET、REGRESSED、UNMEASUREDとして報告します.
アクセシビリティを自動でテストするにはどうすればよいですか?
通常のテスト実行中に、テストで訪れるすべてのページでWCAGの規則に基づく自動検査を行い、新たな違反が見つかったらビルドを失敗させます. 自動検査で見つかる問題は一部に限られるため、手動での確認も続けてください. Nexus StudioQAは実行中にアクセシビリティを検査し、A11Y_VIOLATIONを独立した判定として報告します.
症状から判定、そして対処へ
| 症状 | 判定 | 必要な対応 |
|---|---|---|
| テストが失敗したが、再試行では成功した | FLAKY | アプリケーションかテストに不安定な箇所があります. 原因を特定してください; 何も修正されていません. |
| テストは成功したが、自己修復によってセレクターが置き換えられた | AUTO_RECOVER | 元のセレクターを修正してください. 次にページが変更されると、今度こそテスト群が動作しなくなります. |
| 1回の試行でアサーションが失敗し、環境の傾向でも説明がつかない | BREACHED | これは不具合として報告するものです. |
| 同じ失敗が再試行のたびに発生したりしなかったりする | BREACHED_FLAKY | 不具合を報告する前に、各試行を比較してください. |
| ページは読み込まれたが、クリックや入力の操作でロケーターの一致を待ち続け、一致しなかった | TEST_DRIFT | テストが古くなっています: 該当行を修正してください. |
| 実行が制限時間に達した | TIMEOUT | この実行では判定できません. アプリケーションが動作する証拠にはなりません; 毎回タイムアウトするテストは調査が必要です. |
| 名前解決に失敗したか、接続が拒否された | UNREACHABLE | ネットワークとマシンを確認してください. 製品の不具合ではありません. |
| 403や429、CAPTCHA、またはボット判定のための認証 | BLOCKED | サイトの防御機能が働き、リクエストは製品に届いていません. |
| 対象が閉じられた、またはページが異常終了した | CRASHED | ブラウザーまたはドライバーが異常終了しました. マシンとドライバーを調べてください. |
出典: 判定リファレンス. CIでは、この表のFLAKYとAUTO_RECOVER以外のすべての判定で終了コード1を返しますが、環境に関する4つの判定(TIMEOUT、UNREACHABLE、BLOCKED、CRASHED)は不具合報告ではありません.