テストには引き続きPlaywright, Selenium, pytestを使えます. 私たちはそれらを置き換えるのではありません. 企業での運用に対応させるものであり, コードも証跡も履歴もお客様のものです.

証拠に基づくテスト判定: 合否ではなく15種類の結果.

証拠に基づくテスト判定は、単なる合否の代わりに、結果の原因がどこにあるかを示す名前付きの結果を返します. Nexus StudioQAは各実行に15種類のいずれかを付与します。問題のない成功、留保付きの成功、アプリケーションの不具合、古くなったテスト、あるいはタイムアウトやボットの遮断などの環境の問題です. 不具合報告となるのは、アプリケーションに起因する失敗だけです.

執筆: Verdict System LLCのNexus StudioQAチーム。

最終更新日: .

15種類の判定の分類

15種類の判定は、SECURE、CHAOS_RESILIENT、AUTO_RECOVER、FLAKY、PERFORMANCE_DEGRADED、A11Y_VIOLATION、SECURITY_VIOLATION、BREACHED、BREACHED_FLAKY、CHAOS_BREACHED、TEST_DRIFT、TIMEOUT、UNREACHABLE、BLOCKED、CRASHEDです.

グループ判定結果CI 終了コード不具合報告の対象ですか?
合格SECURE, CHAOS_RESILIENT0No
条件付きで成功AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0いいえ、ただしレポートと履歴には留意事項が表示されます
アプリケーションの不具合BREACHED, BREACHED_FLAKY, CHAOS_BREACHED1はい
テストが古くなっていますTEST_DRIFT1はい, テスト側の問題です: 該当行を修正してください
環境に原因があるTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

エンジンが判定を選ぶ仕組み

  • 順に確認する3つの問い

    そもそもテストの結果は得られたか? 成功した場合、問題なく成功したか? 失敗した場合、原因はテスト実行基盤、環境、アプリケーションのどこにあるか?

  • パターン照合の固定された順序

    失敗した場合、エンジンはエラーメッセージとネットワークログを、決まった順序でパターン群と照合します. 最初に一致したパターン群で判定が決まるため、この順序も設計の一部です. PlaywrightとSelenium WebDriverの両方の文言に対応しています.

  • すべてに判定が付くわけではありません

    SKIPPED、INTERRUPTED、CONFIG_ERRORは、いずれもアプリケーションについて何も示さないため、15種類には含まれません. 証拠フォルダーも履歴の行も作成されません.

環境に起因する失敗の判定名

判定エンジンが確認した内容意味
TIMEOUTPlaywrightのTimeout 30000ms exceeded、SeleniumのWait timed out after、TimeoutError実行から制限時間内に応答がありませんでした. ページが遅いのであって、アプリケーションの不具合の証拠ではありません.
UNREACHABLEページが一度も確認される前に発生した、名前解決の失敗、接続拒否、またはマシンのオフライン状態ホストにまったく接続できませんでした。
BLOCKED403または429、CAPTCHA、アクセス拒否ページ、またはボット判別のための認証サイトの防御機能が働き、リクエストは製品に届きませんでした.
CRASHEDTarget closed、Page crashed、DevToolsプロトコルのエラー、SessionNotCreatedErrorブラウザーまたはドライバーが停止しました: マシンとドライバーを確認してください.

判定規則の詳細

このページは概要です. 15種類の判定の決まり方では、エンジンが適用する順にすべての規則と、この手法の限界を説明しています. 判定一覧では、判定ごとの専用ページで詳しく説明しています.

よくある質問

  • 留保付きの合格はCIでも合格になりますか?

    はい。FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATIONとSECURITY_VIOLATIONは終了コード0を返すため、ビルドは失敗しません。留保事項はレポートと履歴に表示されます。

  • TIMEOUTはアプリケーションが正常に動作することを意味しますか?

    いいえ。TIMEOUTはアプリケーションが正常に動作する証拠ではありません。その実行では判断できないことを示すため、アプリケーションの不具合としては報告されません。毎回タイムアウトするテストは調査する必要があります。

  • アクセシビリティやセキュリティの検査で判定が変わることはありますか?

    設定で厳格にした場合に限ります。その場合、合格したテストの判定がSECURITY_VIOLATION, A11Y_VIOLATIONまたはPERFORMANCE_DEGRADEDに、この優先順で変更されることがあります。不合格のテストの判定が引き上げられることはありません。

  • 分類はどの程度信頼できますか?

    エラー文を読み取るため、独自のアサーションメッセージに403やForbiddenが含まれていると、BLOCKEDと判断されることがあります。独自のメッセージは具体的に記述し、予想外の判定が出たらmetadata.jsonを開いて確認してください。

お客様自身のマシンで実行しましょう。

お使いのマシンで全機能を無料でお試しください. カードは不要です.