Ihre Tests bleiben bei Playwright, Selenium und pytest. Wir ersetzen sie nicht. Wir machen sie unternehmenstauglich, und Ihr Code, Ihre Nachweise und Ihr Verlauf bleiben Ihr Eigentum.

Ein Chaos-Testwerkzeug für Ihre bestehenden Tests.

Chaos Lab in Nexus StudioQA injiziert einen Fehler in den Browser, während einer Ihrer Tests läuft: Netzwerklatenz, eine Offline-Phase, eine langsamere CPU oder eine ausfallende Abhängigkeit. Der Durchlauf endet mit CHAOS_RESILIENT, wenn der Test standgehalten hat, mit CHAOS_BREACHED, wenn nicht, und mit CHAOS_NOT_INJECTED, wenn der Fehler nie wirksam wurde, was nichts über die Resilienz aussagt.

Vom Nexus StudioQA-Team, Verdict System LLC.

Zuletzt aktualisiert: .

Die Fehlermodi

ModusFunktionsumfangStandard
networkVerzögert jede Anfrage um eine festgelegte Zeit; bei etwa 20% kommen einige Hundert Millisekunden hinzu400 ms
offlineUnterbricht das Netzwerk einmal, zu einem zufälligen Zeitpunkt innerhalb der ersten 30 Sekunden5000 ms
cpuVerlangsamt die CPU um den Faktor 4; nur Chromium4x, fest
allNetzwerk, CPU und Offline zusammenStandardwerte wie oben
dependencyAntwortet auf eine von Ihnen angegebene URL mit 429, 500, 503, einer langsamen Antwort, einer hängenden Anfrage oder einem abgeschnittenen AntwortinhaltVon Ihnen festgelegt

Paketverlust und Speicherdruck lassen sich mit jedem Modus kombinieren. Bei einem Abhängigkeitsfehler wird auch auf eine Flut von Wiederholungsversuchen geachtet: mehr als 10 Anfragen an die betroffene URL innerhalb von 10 Sekunden. Sie lösen einen Fehler mit nexus patrol TC01 --chaos=network oder über die Chaos Lab-Ansicht aus.

So wird ein Chaos-Durchlauf bewertet

VerdictBedeutung
CHAOS_RESILIENTDer Test wurde bei wirksamem Fehler bestanden
CHAOS_BREACHEDDer Test ist unter dem Fehler fehlgeschlagen
CHAOS_NOT_INJECTEDDer Test wurde bestanden, aber kein Fehler wurde wirksam, beispielsweise cpu unter Firefox. Dies gilt nicht als Ergebnis und wird bei keiner Quote berücksichtigt

Die Seite zu den Ergebnisstatus enthält die vollständigen Regeln. Chaos-Durchläufe werden in einem eigenen Nachweisordner abgelegt, sodass ein injizierter Fehler nie die Stabilitätsbewertung der eigentlichen Testsuite beeinträchtigt.

Stabiler Betriebszustand, nicht nur Zusicherungen

Ein Test kann bestehen und unter dem Fehler dennoch deutlich langsamer sein. Chaos Lab vergleicht jeden Durchlauf mit der mittleren Laufzeit desselben Tests im selben Browser ohne Fehler. Ein Durchlauf, der mehr als das 2-Fache dieses Referenzwerts benötigt, wird als abweichend markiert (die Toleranz ist NEXUS_CHAOS_TOLERANCE). Außerdem werden die unter dem Fehler gemessenen Web Vitals aufgezeichnet. Mit der Zeit erhält jeder Test eine Resilienzkennzeichnung: RESILIENT ab 90%, TOLERANT ab 70%, FRAGILE ab 50%, darunter VULNERABLE.

Infrastrukturstörungen

nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> legt einen registrierten Docker-Container oder die von Nexus gestartete Anwendung gezielt lahm und misst, ob sie wieder verfügbar wird: RESILIENT, DEGRADED oder NOT_RECOVERED. Vor dem Eingriff ist eine Autorisierung erforderlich, und --restore hebt eine verbliebene Störung auf.

Was nicht abgedeckt ist

API-Tests laufen ohne Chaos. Selenium mit Firefox wird bei Chaos übersprungen, da der Test ohne wirksame Störung bestehen würde. --chaos und --visual können nicht kombiniert werden.

Häufige Fragen

  • Muss ich meine Tests für Chaos umschreiben?

    Nein. Die Störung wird auf Ihre vorhandenen Tests angewendet, in Playwright oder in Python und Selenium mit Chromium. Führen Sie jeden Test zunächst einmal ohne Störung aus, damit die Prüfung des Normalzustands einen Referenzwert hat.

  • Was bedeutet CHAOS_NOT_INJECTED?

    Der Test wurde bestanden, aber die Störung wurde nie wirksam. CPU-Drosselung funktioniert beispielsweise nur in Chromium. Das Ergebnis wird weder als resilient noch als verletzt gewertet und kann daher keine Quote erhöhen oder senken.

  • Kann Chaos mein Produktionssystem beschädigen?

    Browserstörungen wirken auf die getestete Seite, nicht auf Ihre Server. Infrastrukturstörungen wirken auf von Ihnen registrierte Container, erfordern zuvor eine Autorisierung und lassen sich durch Wiederherstellung rückgängig machen. Richten Sie beide niemals auf ein System, das Ihnen nicht gehört.

  • Zählt ein fehlgeschlagener Chaos-Test als Programmfehler?

    Es handelt sich um einen Resilienzbefund, der getrennt von der regulären Testsuite erfasst wird. Er verändert die Stabilitätskennzahlen der eigentlichen Tests nicht.

Finden Sie heraus, was passiert, wenn etwas schiefgeht.

Alles läuft auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.