Ihre Tests bleiben bei Playwright, Selenium und pytest. Wir ersetzen sie nicht. Wir machen sie unternehmenstauglich, und Ihr Code, Ihre Nachweise und Ihr Verlauf bleiben Ihr Eigentum.

Forensische Testbewertungen: 15 Ergebnisse statt bestanden oder nicht bestanden.

Forensische Testbewertungen ersetzen bestanden oder nicht bestanden durch ein benanntes Ergebnis, das die Ursache zuordnet. Nexus StudioQA ordnet jedem Durchlauf eine von 15 Bewertungen zu: ohne Einschränkungen bestanden, mit Vorbehalt bestanden, eine fehlerhafte Anwendung, ein veralteter Test oder ein Umgebungsproblem wie eine Zeitüberschreitung oder eine Bot-Sperre. Nur ein Fehlschlag, dessen Ursache in der Anwendung liegt, wird als Fehler gemeldet.

Vom Nexus StudioQA-Team, Verdict System LLC.

Zuletzt aktualisiert: .

Die 15 Bewertungen, nach Gruppen

Die 15 Bewertungen sind SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED und CRASHED.

GruppeVerdictsCI-ExitcodeIst das ein Fehlerbericht?
BestandenSECURE, CHAOS_RESILIENT0No
Unter Vorbehalt bestandenAUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0Nein, aber der Bericht und der Verlauf zeigen den Vorbehalt
Die Anwendung funktioniert nicht mehrBREACHED, BREACHED_FLAKY, CHAOS_BREACHED1Ja
Der Test ist veraltetTEST_DRIFT1Ja, zulasten des Tests: die Zeile reparieren
Die Umgebung ist schuldTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

Wie die Engine eine Bewertung auswählt

  • Drei Fragen, der Reihe nach

    Hat der Test überhaupt ein Ergebnis geliefert? Falls er bestanden wurde, war das ohne Einschränkungen? Falls er fehlgeschlagen ist, wo liegt die Ursache: im Testgerüst, in der Umgebung oder in der Anwendung?

  • Eine feste Reihenfolge von Mustern

    Bei einem Fehlschlag gleicht die Engine die Fehlermeldung und das Netzwerkprotokoll in einer festen Reihenfolge mit Mustergruppen ab. Die erste passende Gruppe entscheidet, daher ist die Reihenfolge Teil des Konzepts. Die Formulierungen von Playwright und Selenium WebDriver werden gleichermaßen berücksichtigt.

  • Nicht alles erhält eine Bewertung

    SKIPPED, INTERRUPTED und CONFIG_ERROR gehören nicht zu den 15 Bewertungen, da keiner dieser Zustände etwas über Ihre Anwendung aussagt. Sie erzeugen weder einen Nachweisordner noch einen Eintrag im Verlauf.

Wie ein Umgebungsfehler benannt wird

VerdictWas die Engine erkannt hatBedeutung
TIMEOUTTimeout 30000ms exceeded von Playwright, Wait timed out after von Selenium, ein TimeoutErrorDer Durchlauf hat nicht rechtzeitig geantwortet. Eine langsame Seite, kein Beweis für eine fehlerhafte Anwendung.
UNREACHABLEEin nicht aufgelöster Name, eine abgelehnte Verbindung oder ein Rechner ohne Netzverbindung, bevor überhaupt eine Seite erfasst wurdeDer Host konnte überhaupt nicht erreicht werden.
BLOCKEDEin 403 oder ein 429, ein CAPTCHA, eine Seite mit verweigertem Zugriff oder eine Bot-PrüfungDie Website hat sich geschützt, und die Anfrage hat Ihr Produkt nie erreicht.
CRASHEDTarget closed, Page crashed, ein DevTools-Protokollfehler, SessionNotCreatedErrorDer Browser oder der Treiber ist abgestürzt: Prüfen Sie den Rechner und den Treiber.

Wo Sie die vollständigen Regeln finden

Diese Seite ist die Zusammenfassung. Wie die 15 Bewertungen ermittelt werden enthält die vollständigen Regeln in der Reihenfolge, in der die Engine sie anwendet, sowie die Grenzen der Methode. Die Bewertungsübersicht erläutert jede Bewertung auf einer eigenen Seite.

Häufige Fragen

  • Gilt ein Bestehen unter Vorbehalt in CI als bestanden?

    Ja. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION und SECURITY_VIOLATION liefern den Exit-Code 0 und lassen den Build somit nicht fehlschlagen. Der Vorbehalt erscheint im Bericht und im Verlauf.

  • Bedeutet ein TIMEOUT, dass die Anwendung funktioniert?

    Nein. Ein TIMEOUT ist kein Beleg dafür, dass die Anwendung funktioniert. Er besagt, dass der Durchlauf darüber keine Aussage zulässt, und wird daher nicht als Fehler in der Anwendung gemeldet. Ein Test, der bei jedem Durchlauf das Zeitlimit überschreitet, sollte überprüft werden.

  • Können Prüfungen auf Barrierefreiheit oder Sicherheit eine Einstufung ändern?

    Nur wenn Sie diese in den Einstellungen als strikt festlegen. Dann können sie bei einem bestandenen Test die Einstufung in SECURITY_VIOLATION, A11Y_VIOLATION oder PERFORMANCE_DEGRADED ändern, in dieser Reihenfolge. Ein fehlgeschlagener Test wird nie hochgestuft.

  • Wie zuverlässig ist die Klassifizierung?

    Sie wertet Fehlertexte aus. Daher kann eine benutzerdefinierte Assertion-Meldung, die 403 oder Forbidden enthält, als BLOCKED eingestuft werden. Formulieren Sie benutzerdefinierte Meldungen präzise und öffnen Sie metadata.json, wenn Sie eine Einstufung überrascht.

Führen Sie es auf Ihrem eigenen Rechner aus.

Testen Sie alle Funktionen kostenlos auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.