既存のテストで使えるカオステストツール.
Nexus StudioQAのChaos Labは, テストの実行中にブラウザーへ障害を注入します: ネットワーク遅延, 一時的なオフライン状態, CPUの低速化, 依存先の障害などです. テストが成功すればCHAOS_RESILIENT, 失敗すればCHAOS_BREACHEDで実行を終了します. 障害が実際に発生しなかった場合はCHAOS_NOT_INJECTEDとなり, 耐障害性については何も示しません.
執筆: Verdict System LLCのNexus StudioQAチーム。
最終更新日: .
障害モード
| モード | 主な機能 | 既定 |
|---|---|---|
| network | すべてのリクエストを指定時間保留し; 約20%にはさらに数百ミリ秒の遅延を加えます | 400 ms |
| offline | 最初の30秒間の無作為なタイミングで, ネットワークを1回切断します | 5000 ms |
| cpu | CPUの速度を4分の1に低下させます; Chromiumのみ | 4倍, 固定 |
| all | ネットワーク, CPU, オフラインを同時に適用 | 上記の既定値 |
| dependency | 指定した1つのURLに対し, 429, 500, 503, 遅延, 応答停止, 本文の途中切断のいずれかを返します | ユーザーが設定 |
パケット損失とメモリ逼迫は, どのモードにも追加できます. 依存先の障害では, 再試行の集中も監視します: 障害対象のURLへのリクエストが10秒間で10回を超える状態です. 障害はnexus patrol TC01 --chaos=networkで実行するか, Chaos Lab画面から実行します.
カオステスト実行の判定方法
| 判定 | 意味 |
|---|---|
| CHAOS_RESILIENT | 障害が実際に発生した状態でテストが成功 |
| CHAOS_BREACHED | 障害下でテストが失敗 |
| CHAOS_NOT_INJECTED | テストは成功したものの, 障害は実際には発生していません. 例としてFirefoxでのcpuが該当します. 判定結果として扱われず, すべての比率の計算から除外されます |
判定ページ に詳しいルールを掲載しています. カオステストの実行結果は専用の証拠フォルダーに保存されるため, 注入した障害による失敗が実際のテストスイートの安定性評価を下げることはありません.
アサーションだけでなく, 定常状態も確認
テストが成功しても, 障害下では大幅に遅くなることがあります. Chaos Labは各実行を, 同じテストとブラウザーで障害なしで実行した場合の所要時間の中央値と比較します. この基準値の2倍を超える時間がかかった実行は, 逸脱として記録されます (許容値はNEXUS_CHAOS_TOLERANCE). 障害下で測定したWeb Vitalsも記録します. 実行を重ねると, 各テストに耐障害性のラベルが付与されます: 90%以上はRESILIENT, 70%以上はTOLERANT, 50%以上はFRAGILE, それ未満はVULNERABLEです.
インフラ障害
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> は、登録済みの Docker コンテナ、または Nexus が起動したアプリを意図的に停止し、復旧するかを測定します: RESILIENT、DEGRADED、NOT_RECOVERED。実行前に承認が必要です。--restore で、残っている障害を解除できます。
対象外の範囲
API テストは障害注入なしで実行されます。Firefox 上の Selenium は、障害がなくても合格してしまうため、障害注入時には省略されます。--chaos と --visual は併用できません。
よくある質問
障害注入のためにテストを書き直す必要はありますか?
いいえ。Playwright、または Chromium 上の Python と Selenium で、既存のテストの実行に合わせて障害を注入します。定常状態の確認に使う基準を得るため、まず各テストを障害なしで一度実行してください。
CHAOS_NOT_INJECTED はどういう意味ですか?
テストは合格しましたが、障害は実際には発生しませんでした。たとえば、CPU の処理速度制限は Chromium でのみ機能します。耐障害性ありとも要件違反とも集計されないため、割合を不当に上げたり下げたりすることはありません。
障害注入で本番システムが壊れることはありますか?
ブラウザの障害注入は、サーバーではなくテスト対象のページに作用します。インフラの障害注入は、登録したコンテナに作用し、事前に承認を求め、復元操作で解除できます。どちらも、自分が所有していないシステムを対象にしないでください。
障害注入時の失敗は不具合として扱われますか?
耐障害性に関する検出事項として、通常のテスト群とは別に記録されます。本来のテストの安定性の数値には影響しません。