Ihre Tests bleiben bei Playwright, Selenium und pytest. Wir ersetzen sie nicht. Wir machen sie unternehmenstauglich, und Ihr Code, Ihre Nachweise und Ihr Verlauf bleiben Ihr Eigentum.

Lasttests und Web Vitals anhand eines Budgets.

Nexus StudioQA führt ein Lastszenario aus einer JSON-Datei oder der Lastansicht aus und bewertet es anhand von Budgets, die Sie vor dem Durchlauf festgelegt haben. Jeder Durchlauf endet mit PASS, OVER_BUDGET, REGRESSED oder UNMEASURED. In Browsertests können Budgets für LCP, CLS und INP einen bestandenen Test bei aktiviertem strikten Modus auf PERFORMANCE_DEGRADED setzen.

Vom Nexus StudioQA-Team, Verdict System LLC.

Zuletzt aktualisiert: .

Die vier Einstufungen für Lasttests

VerdictWann
PASSMindestens ein Kriterium konnte geprüft werden und alle wurden erfüllt
OVER_BUDGETEin Kriterium wurde verfehlt, oder im offenen Modell konnten mehr als 1% der angeforderten Iterationen nicht gestartet werden
REGRESSEDInnerhalb des Budgets, aber der p95 liegt über dem 1,25-Fachen des medianen p95 der letzten bestandenen Durchläufe und mindestens 25 ms darüber
UNMEASUREDNichts konnte geprüft werden: keine Kriterien, weniger als 5 Versuche, weniger als 5 gültige Messwerte für einen p95 oder ein Web-Vitals-Budget, das die Messsonde nicht messen konnte

Als Vergleichsbasis für REGRESSED dienen dasselbe Szenario, Ziel, Modell und dieselbe Nutzerzahl über die letzten 5 bestandenen Durchläufe, wobei mindestens 3 erforderlich sind. Ein vollständig ausgefallenes Ziel erhält OVER_BUDGET, nicht UNMEASURED, da die Fehlerrate anhand der Versuche bewertet wird. Bei aktiviertem strict beenden OVER_BUDGET und REGRESSED den Prozess mit Exitcode 1, sodass eine Pipeline stoppen kann.

Was ein Lastdurchlauf bewirkt

Das Szenario legt das Ziel, die Schritte mit ihren Prüfbedingungen, die Denkzeit und entweder ein geschlossenes Modell (1 bis 5000 Nutzer) oder ein offenes Modell (eine Anfragerate) fest. Virtuelle Nutzer senden HTTP-Anfragen aus Worker-Threads, und der Bericht liefert Perzentile, Durchsatz und eine Fehlerrate, niemals nur einen Durchschnitt. Zwei Schutzmaßnahmen greifen vorab: Sie geben AUTHORIZED ein, bevor etwas gesendet wird, und ein Ziel außerhalb dieses Rechners erfordert zusätzlich --yes. Ergebnisse werden unter evidence/load-runs gespeichert.

Web Vitals

Mit --vitals lädt eine Messsonde in Playwright Chromium Ihre Seiten vor, während und nach der Last und prüft p75-Budgets für LCP, FCP, CLS, TBT und TTFB. INP wird dort nicht zugelassen, da die Messsonde nie mit der Seite interagiert. In Browsertests misst die Engine bei jedem Durchlauf LCP, CLS und INP anhand der Budgets aus NEXUS_PERF_LCP, NEXUS_PERF_CLS und NEXUS_PERF_INP. Die Standardschwellenwerte richten sich nach web.dev:

MessgrößeGut bisSchlecht über
LCP2500 ms4000 ms
CLS0.10.25
INP200 ms500 ms

Dies sind Laborwerte aus einem skriptgesteuerten Seitenaufruf, ein Regressionssignal bei einem festen Profil, keine Felddaten echter Nutzer. INP benötigt einen Klick oder einen Tastenanschlag, daher hat ein Test, der nur Seiten lädt, keinen INP-Wert. Eine Budgetüberschreitung setzt einen Test nur dann auf PERFORMANCE_DEGRADED, wenn NEXUS_PERF_STRICT wahr ist; andernfalls wird sie erfasst und im Bericht angezeigt.

Im Release-Bericht

Der Managementbericht zählt Lasttestläufe mit dem Ergebnis OVER_BUDGET oder REGRESSED als fehlgeschlagen, zeigt den letzten Lauf an und ergänzt eine Empfehlung, wenn der letzte Lasttestlauf weder PASS noch UNMEASURED ist.

Häufige Fragen

  • Steuert der Lastgenerator echte Browser?

    Nein. Virtuelle Nutzer senden HTTP-Anfragen. So erreicht ein Lastgenerator Tausende von Nutzern. Playwright Chromium wird nur für die Web-Vitals-Messung und für Browsertests verwendet.

  • Warum erhält ein Lauf UNMEASURED statt PASS?

    Weil nichts überprüft werden konnte, etwa wegen fehlender Kriterien, zu weniger Stichproben für ein Perzentil oder eines Web-Vitals-Budgets, dessen Messwerte nicht ausgelesen werden konnten. Ein Budget, das niemand überprüft hat, gilt nicht als eingehalten.

  • Kann ich jede Website einem Lasttest unterziehen?

    Nur ein System, das Ihnen gehört oder für dessen Test Sie eine schriftliche Genehmigung haben. Das Werkzeug fordert Sie selbst bei localhost auf, AUTHORIZED einzugeben. Für ein Ziel außerhalb dieses Rechners ist --yes erforderlich.

  • Lässt eine langsame Seite meinen Test fehlschlagen?

    Nur im strikten Modus. Standardmäßig wird eine Überschreitung des Leistungsbudgets als Hinweis erfasst. Mit NEXUS_PERF_STRICT=true erhält der Test den Status PERFORMANCE_DEGRADED, der in CI weiterhin den Exit-Code 0 liefert.

Legen Sie ein Budget für Geschwindigkeit fest.

Alles läuft auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.