テストには引き続きPlaywright, Selenium, pytestを使えます. 私たちはそれらを置き換えるのではありません. 企業での運用に対応させるものであり, コードも証跡も履歴もお客様のものです.

既存のテストで使えるカオステストツール.

Nexus StudioQAのChaos Labは, テストの実行中にブラウザーへ障害を注入します: ネットワーク遅延, 一時的なオフライン状態, CPUの低速化, 依存先の障害などです. テストが成功すればCHAOS_RESILIENT, 失敗すればCHAOS_BREACHEDで実行を終了します. 障害が実際に発生しなかった場合はCHAOS_NOT_INJECTEDとなり, 耐障害性については何も示しません.

執筆: Verdict System LLCのNexus StudioQAチーム。

最終更新日: .

障害モード

モード主な機能既定
networkすべてのリクエストを指定時間保留し; 約20%にはさらに数百ミリ秒の遅延を加えます400 ms
offline最初の30秒間の無作為なタイミングで, ネットワークを1回切断します5000 ms
cpuCPUの速度を4分の1に低下させます; Chromiumのみ4倍, 固定
allネットワーク, CPU, オフラインを同時に適用上記の既定値
dependency指定した1つのURLに対し, 429, 500, 503, 遅延, 応答停止, 本文の途中切断のいずれかを返しますユーザーが設定

パケット損失とメモリ逼迫は, どのモードにも追加できます. 依存先の障害では, 再試行の集中も監視します: 障害対象のURLへのリクエストが10秒間で10回を超える状態です. 障害はnexus patrol TC01 --chaos=networkで実行するか, Chaos Lab画面から実行します.

カオステスト実行の判定方法

判定意味
CHAOS_RESILIENT障害が実際に発生した状態でテストが成功
CHAOS_BREACHED障害下でテストが失敗
CHAOS_NOT_INJECTEDテストは成功したものの, 障害は実際には発生していません. 例としてFirefoxでのcpuが該当します. 判定結果として扱われず, すべての比率の計算から除外されます

判定ページ に詳しいルールを掲載しています. カオステストの実行結果は専用の証拠フォルダーに保存されるため, 注入した障害による失敗が実際のテストスイートの安定性評価を下げることはありません.

アサーションだけでなく, 定常状態も確認

テストが成功しても, 障害下では大幅に遅くなることがあります. Chaos Labは各実行を, 同じテストとブラウザーで障害なしで実行した場合の所要時間の中央値と比較します. この基準値の2倍を超える時間がかかった実行は, 逸脱として記録されます (許容値はNEXUS_CHAOS_TOLERANCE). 障害下で測定したWeb Vitalsも記録します. 実行を重ねると, 各テストに耐障害性のラベルが付与されます: 90%以上はRESILIENT, 70%以上はTOLERANT, 50%以上はFRAGILE, それ未満はVULNERABLEです.

インフラ障害

nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> は、登録済みの Docker コンテナ、または Nexus が起動したアプリを意図的に停止し、復旧するかを測定します: RESILIENT、DEGRADED、NOT_RECOVERED。実行前に承認が必要です。--restore で、残っている障害を解除できます。

対象外の範囲

API テストは障害注入なしで実行されます。Firefox 上の Selenium は、障害がなくても合格してしまうため、障害注入時には省略されます。--chaos と --visual は併用できません。

よくある質問

  • 障害注入のためにテストを書き直す必要はありますか?

    いいえ。Playwright、または Chromium 上の Python と Selenium で、既存のテストの実行に合わせて障害を注入します。定常状態の確認に使う基準を得るため、まず各テストを障害なしで一度実行してください。

  • CHAOS_NOT_INJECTED はどういう意味ですか?

    テストは合格しましたが、障害は実際には発生しませんでした。たとえば、CPU の処理速度制限は Chromium でのみ機能します。耐障害性ありとも要件違反とも集計されないため、割合を不当に上げたり下げたりすることはありません。

  • 障害注入で本番システムが壊れることはありますか?

    ブラウザの障害注入は、サーバーではなくテスト対象のページに作用します。インフラの障害注入は、登録したコンテナに作用し、事前に承認を求め、復元操作で解除できます。どちらも、自分が所有していないシステムを対象にしないでください。

  • 障害注入時の失敗は不具合として扱われますか?

    耐障害性に関する検出事項として、通常のテスト群とは別に記録されます。本来のテストの安定性の数値には影響しません。

問題が起きたときに何が起こるかを確かめましょう。

すべてご自身のマシンで実行されます。クレジットカードは不要です。