Forensische Testbewertungen: 15 Ergebnisse statt bestanden oder nicht bestanden.
Forensische Testbewertungen ersetzen bestanden oder nicht bestanden durch ein benanntes Ergebnis, das die Ursache zuordnet. Nexus StudioQA ordnet jedem Durchlauf eine von 15 Bewertungen zu: ohne Einschränkungen bestanden, mit Vorbehalt bestanden, eine fehlerhafte Anwendung, ein veralteter Test oder ein Umgebungsproblem wie eine Zeitüberschreitung oder eine Bot-Sperre. Nur ein Fehlschlag, dessen Ursache in der Anwendung liegt, wird als Fehler gemeldet.
Vom Nexus StudioQA-Team, Verdict System LLC.
Zuletzt aktualisiert: .
Die 15 Bewertungen, nach Gruppen
Die 15 Bewertungen sind SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED und CRASHED.
| Gruppe | Verdicts | CI-Exitcode | Ist das ein Fehlerbericht? |
|---|---|---|---|
| Bestanden | SECURE, CHAOS_RESILIENT | 0 | No |
| Unter Vorbehalt bestanden | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Nein, aber der Bericht und der Verlauf zeigen den Vorbehalt |
| Die Anwendung funktioniert nicht mehr | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Ja |
| Der Test ist veraltet | TEST_DRIFT | 1 | Ja, zulasten des Tests: die Zeile reparieren |
| Die Umgebung ist schuld | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Wie die Engine eine Bewertung auswählt
Drei Fragen, der Reihe nach
Hat der Test überhaupt ein Ergebnis geliefert? Falls er bestanden wurde, war das ohne Einschränkungen? Falls er fehlgeschlagen ist, wo liegt die Ursache: im Testgerüst, in der Umgebung oder in der Anwendung?
Eine feste Reihenfolge von Mustern
Bei einem Fehlschlag gleicht die Engine die Fehlermeldung und das Netzwerkprotokoll in einer festen Reihenfolge mit Mustergruppen ab. Die erste passende Gruppe entscheidet, daher ist die Reihenfolge Teil des Konzepts. Die Formulierungen von Playwright und Selenium WebDriver werden gleichermaßen berücksichtigt.
Nicht alles erhält eine Bewertung
SKIPPED, INTERRUPTED und CONFIG_ERROR gehören nicht zu den 15 Bewertungen, da keiner dieser Zustände etwas über Ihre Anwendung aussagt. Sie erzeugen weder einen Nachweisordner noch einen Eintrag im Verlauf.
Wie ein Umgebungsfehler benannt wird
| Verdict | Was die Engine erkannt hat | Bedeutung |
|---|---|---|
| TIMEOUT | Timeout 30000ms exceeded von Playwright, Wait timed out after von Selenium, ein TimeoutError | Der Durchlauf hat nicht rechtzeitig geantwortet. Eine langsame Seite, kein Beweis für eine fehlerhafte Anwendung. |
| UNREACHABLE | Ein nicht aufgelöster Name, eine abgelehnte Verbindung oder ein Rechner ohne Netzverbindung, bevor überhaupt eine Seite erfasst wurde | Der Host konnte überhaupt nicht erreicht werden. |
| BLOCKED | Ein 403 oder ein 429, ein CAPTCHA, eine Seite mit verweigertem Zugriff oder eine Bot-Prüfung | Die Website hat sich geschützt, und die Anfrage hat Ihr Produkt nie erreicht. |
| CRASHED | Target closed, Page crashed, ein DevTools-Protokollfehler, SessionNotCreatedError | Der Browser oder der Treiber ist abgestürzt: Prüfen Sie den Rechner und den Treiber. |
Wo Sie die vollständigen Regeln finden
Diese Seite ist die Zusammenfassung. Wie die 15 Bewertungen ermittelt werden enthält die vollständigen Regeln in der Reihenfolge, in der die Engine sie anwendet, sowie die Grenzen der Methode. Die Bewertungsübersicht erläutert jede Bewertung auf einer eigenen Seite.
Häufige Fragen
Gilt ein Bestehen unter Vorbehalt in CI als bestanden?
Ja. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION und SECURITY_VIOLATION liefern den Exit-Code 0 und lassen den Build somit nicht fehlschlagen. Der Vorbehalt erscheint im Bericht und im Verlauf.
Bedeutet ein TIMEOUT, dass die Anwendung funktioniert?
Nein. Ein TIMEOUT ist kein Beleg dafür, dass die Anwendung funktioniert. Er besagt, dass der Durchlauf darüber keine Aussage zulässt, und wird daher nicht als Fehler in der Anwendung gemeldet. Ein Test, der bei jedem Durchlauf das Zeitlimit überschreitet, sollte überprüft werden.
Können Prüfungen auf Barrierefreiheit oder Sicherheit eine Einstufung ändern?
Nur wenn Sie diese in den Einstellungen als strikt festlegen. Dann können sie bei einem bestandenen Test die Einstufung in SECURITY_VIOLATION, A11Y_VIOLATION oder PERFORMANCE_DEGRADED ändern, in dieser Reihenfolge. Ein fehlgeschlagener Test wird nie hochgestuft.
Wie zuverlässig ist die Klassifizierung?
Sie wertet Fehlertexte aus. Daher kann eine benutzerdefinierte Assertion-Meldung, die 403 oder Forbidden enthält, als BLOCKED eingestuft werden. Formulieren Sie benutzerdefinierte Meldungen präzise und öffnen Sie metadata.json, wenn Sie eine Einstufung überrascht.
Führen Sie es auf Ihrem eigenen Rechner aus.
Testen Sie alle Funktionen kostenlos auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.