テストには引き続きPlaywright, Selenium, pytestを使えます. 私たちはそれらを置き換えるのではありません. 企業での運用に対応させるものであり, コードも証跡も履歴もお客様のものです.

負荷テストとWeb Vitalsを許容値に照らして評価。

Nexus StudioQAはJSONファイルまたは負荷画面から負荷シナリオを実行し、実行前に設定した許容値に照らして評価します。各実行はPASS、OVER_BUDGET、REGRESSED、UNMEASUREDのいずれかで終了します。ブラウザーテストでは、厳格モードが有効な場合、LCP、CLS、INPの許容値によって、合格したテストがPERFORMANCE_DEGRADEDになることがあります。

執筆: Verdict System LLCのNexus StudioQAチーム。

最終更新日: .

負荷テストの4つの判定

判定条件
PASS少なくとも1つの基準を確認でき、すべての基準を満たした場合
OVER_BUDGET基準を満たさなかった場合、またはオープンモデルで要求された反復の1%超を開始できなかった場合
REGRESSED許容値内ではあるものの、p95が直近の合格した実行のp95中央値の1.25倍を超え、かつその中央値より25 ms以上高い場合
UNMEASURED何も確認できなかった場合: 基準がない、試行が5回未満、p95算出に使える有効な標本が5件未満、または計測処理でWeb Vitalsの許容値を評価できない場合

REGRESSEDの基準値には、シナリオ、対象、モデル、ユーザー数が同じ直近5回の合格した実行を使います。少なくとも3回分が必要です。対象が完全に停止している場合は、試行回数に基づいてエラー率を判定するため、UNMEASUREDではなくOVER_BUDGETになります。strictが有効な場合、OVER_BUDGETとREGRESSEDでは終了コード1でプロセスが終了するため、パイプラインを停止できます。

負荷テストの実行内容

シナリオでは、対象、検証条件付きの手順、操作間の待機時間、およびクローズドモデル(1~5000ユーザー)またはオープンモデル(リクエスト頻度)を設定します。仮想ユーザーはワーカースレッドからHTTPリクエストを送信し、レポートには平均値だけでなく、パーセンタイル、処理量、エラー率が表示されます。送信前に2つの安全措置を設けています。送信を始める前にAUTHORIZEDと入力する必要があり、対象がこのマシン以外の場合は--yesも必要です。結果はevidence/load-runsに保存されます。

Web Vitals

--vitalsを指定すると、Playwright Chromium上の計測処理が負荷をかける前、最中、後にページを読み込み、LCP、FCP、CLS、TBT、TTFBのp75の許容値を確認します。この計測処理はページを操作しないため、INPは指定できません。ブラウザーテストでは、エンジンが実行ごとにLCP、CLS、INPを測定し、NEXUS_PERF_LCP、NEXUS_PERF_CLS、NEXUS_PERF_INPで設定した許容値に照らして評価します。既定のしきい値はweb.devに準拠しています:

指標良好の上限不良となる値(超過)
LCP2500 ms4000 ms
CLS0.10.25
INP200 ms500 ms

これらは、スクリプトによるページ読み込みで得られる実験環境の測定値です。固定条件下での性能低下を示すものであり、実際のユーザーから得た実環境のデータではありません。INPにはクリックやキー入力が必要なため、ページを読み込むだけのテストでは測定されません。許容値の超過によってテストがPERFORMANCE_DEGRADEDに変わるのは、NEXUS_PERF_STRICTがtrueの場合だけです。それ以外の場合は、超過が記録され、レポートに表示されます。

リリースレポートでの扱い

エグゼクティブレポートは、OVER_BUDGET または REGRESSED で終了した負荷テストの実行を失敗として集計し、直近の実行を表示します。また、直近の負荷テストの実行が PASS または UNMEASURED でない場合は、推奨事項を追加します。

よくある質問

  • 負荷生成ツールは実際のブラウザーを動かしますか?

    いいえ。仮想ユーザーが HTTP リクエストを送信することで、負荷生成ツールは数千人規模のユーザーを再現します。Playwright Chromium は、Web Vitals の計測とブラウザーテストにのみ使用します。

  • 実行結果が PASS ではなく UNMEASURED になるのはなぜですか?

    何も確認できなかったためです。たとえば、判定基準がない、パーセンタイルの算出に必要な標本数が足りない、Web Vitals の許容値に対する計測値を取得できなかった、といった場合です。誰も確認していない許容値を、満たしたとは判定できません。

  • どのサイトでも負荷テストできますか?

    自分が所有しているシステム、またはテストの許可を書面で得ているシステムに限ります。localhost であっても AUTHORIZED と入力する必要があり、このマシン以外を対象にする場合は --yes も必要です。

  • ページが遅いとテストは失敗しますか?

    厳格モードの場合のみです。既定では、性能の許容値超過は注意事項として記録されます。NEXUS_PERF_STRICT=true を設定するとテストは PERFORMANCE_DEGRADED になりますが、CI での終了コードは引き続き 0 です。

速度に許容値を設定しましょう。

すべてご自身のマシンで実行されます。クレジットカードは不要です。