負荷テストとWeb Vitalsを許容値に照らして評価。
Nexus StudioQAはJSONファイルまたは負荷画面から負荷シナリオを実行し、実行前に設定した許容値に照らして評価します。各実行はPASS、OVER_BUDGET、REGRESSED、UNMEASUREDのいずれかで終了します。ブラウザーテストでは、厳格モードが有効な場合、LCP、CLS、INPの許容値によって、合格したテストがPERFORMANCE_DEGRADEDになることがあります。
執筆: Verdict System LLCのNexus StudioQAチーム。
最終更新日: .
負荷テストの4つの判定
| 判定 | 条件 |
|---|---|
| PASS | 少なくとも1つの基準を確認でき、すべての基準を満たした場合 |
| OVER_BUDGET | 基準を満たさなかった場合、またはオープンモデルで要求された反復の1%超を開始できなかった場合 |
| REGRESSED | 許容値内ではあるものの、p95が直近の合格した実行のp95中央値の1.25倍を超え、かつその中央値より25 ms以上高い場合 |
| UNMEASURED | 何も確認できなかった場合: 基準がない、試行が5回未満、p95算出に使える有効な標本が5件未満、または計測処理でWeb Vitalsの許容値を評価できない場合 |
REGRESSEDの基準値には、シナリオ、対象、モデル、ユーザー数が同じ直近5回の合格した実行を使います。少なくとも3回分が必要です。対象が完全に停止している場合は、試行回数に基づいてエラー率を判定するため、UNMEASUREDではなくOVER_BUDGETになります。strictが有効な場合、OVER_BUDGETとREGRESSEDでは終了コード1でプロセスが終了するため、パイプラインを停止できます。
負荷テストの実行内容
シナリオでは、対象、検証条件付きの手順、操作間の待機時間、およびクローズドモデル(1~5000ユーザー)またはオープンモデル(リクエスト頻度)を設定します。仮想ユーザーはワーカースレッドからHTTPリクエストを送信し、レポートには平均値だけでなく、パーセンタイル、処理量、エラー率が表示されます。送信前に2つの安全措置を設けています。送信を始める前にAUTHORIZEDと入力する必要があり、対象がこのマシン以外の場合は--yesも必要です。結果はevidence/load-runsに保存されます。
Web Vitals
--vitalsを指定すると、Playwright Chromium上の計測処理が負荷をかける前、最中、後にページを読み込み、LCP、FCP、CLS、TBT、TTFBのp75の許容値を確認します。この計測処理はページを操作しないため、INPは指定できません。ブラウザーテストでは、エンジンが実行ごとにLCP、CLS、INPを測定し、NEXUS_PERF_LCP、NEXUS_PERF_CLS、NEXUS_PERF_INPで設定した許容値に照らして評価します。既定のしきい値はweb.devに準拠しています:
| 指標 | 良好の上限 | 不良となる値(超過) |
|---|---|---|
| LCP | 2500 ms | 4000 ms |
| CLS | 0.1 | 0.25 |
| INP | 200 ms | 500 ms |
これらは、スクリプトによるページ読み込みで得られる実験環境の測定値です。固定条件下での性能低下を示すものであり、実際のユーザーから得た実環境のデータではありません。INPにはクリックやキー入力が必要なため、ページを読み込むだけのテストでは測定されません。許容値の超過によってテストがPERFORMANCE_DEGRADEDに変わるのは、NEXUS_PERF_STRICTがtrueの場合だけです。それ以外の場合は、超過が記録され、レポートに表示されます。
リリースレポートでの扱い
エグゼクティブレポートは、OVER_BUDGET または REGRESSED で終了した負荷テストの実行を失敗として集計し、直近の実行を表示します。また、直近の負荷テストの実行が PASS または UNMEASURED でない場合は、推奨事項を追加します。
よくある質問
負荷生成ツールは実際のブラウザーを動かしますか?
いいえ。仮想ユーザーが HTTP リクエストを送信することで、負荷生成ツールは数千人規模のユーザーを再現します。Playwright Chromium は、Web Vitals の計測とブラウザーテストにのみ使用します。
実行結果が PASS ではなく UNMEASURED になるのはなぜですか?
何も確認できなかったためです。たとえば、判定基準がない、パーセンタイルの算出に必要な標本数が足りない、Web Vitals の許容値に対する計測値を取得できなかった、といった場合です。誰も確認していない許容値を、満たしたとは判定できません。
どのサイトでも負荷テストできますか?
自分が所有しているシステム、またはテストの許可を書面で得ているシステムに限ります。localhost であっても AUTHORIZED と入力する必要があり、このマシン以外を対象にする場合は
--yesも必要です。ページが遅いとテストは失敗しますか?
厳格モードの場合のみです。既定では、性能の許容値超過は注意事項として記録されます。
NEXUS_PERF_STRICT=trueを設定するとテストは PERFORMANCE_DEGRADED になりますが、CI での終了コードは引き続き 0 です。