Forensische testoordelen: 15 uitkomsten in plaats van geslaagd of mislukt.
Forensische testoordelen vervangen geslaagd of mislukt door een benoemde uitkomst die aangeeft waar de oorzaak van een resultaat ligt. Nexus StudioQA kent elke uitvoering een van 15 oordelen toe: volledig geslaagd, geslaagd met een voorbehoud, een defecte applicatie, een verouderde test of een omgevingsprobleem zoals een time-out of een botblokkade. Alleen een mislukking die aan de applicatie ligt, levert een foutrapport op.
Door het Nexus StudioQA-team, Verdict System LLC.
Laatst bijgewerkt: .
De 15 oordelen, per groep
De 15 oordelen zijn SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED en CRASHED.
| Groep | Beoordelingen | CI-afsluitcode | Is het een bugmelding? |
|---|---|---|---|
| Geslaagd | SECURE, CHAOS_RESILIENT | 0 | No |
| Geslaagd met een voorbehoud | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Nee, maar het rapport en de Geschiedenis tonen het voorbehoud |
| De applicatie werkt niet meer | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Ja |
| De test is verouderd | TEST_DRIFT | 1 | Ja, voor de test: herstel de regel |
| Het ligt aan de omgeving | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Hoe de engine een oordeel kiest
Drie vragen, in volgorde
Heeft de test überhaupt een resultaat opgeleverd? Als hij is geslaagd, was dat zonder voorbehoud? Als hij is mislukt, waar ligt de oorzaak: bij de testinfrastructuur, de omgeving of de applicatie?
Een vaste volgorde van patronen
Bij een mislukking vergelijkt de engine de foutmelding en het netwerklogboek in een vaste volgorde met groepen patronen. De eerste groep die overeenkomt, geeft de doorslag, dus de volgorde maakt deel uit van het ontwerp. De formuleringen van zowel Playwright als Selenium WebDriver worden herkend.
Niet alles krijgt een oordeel
SKIPPED, INTERRUPTED en CONFIG_ERROR behoren niet tot de 15, omdat geen ervan iets over je applicatie zegt. Ze leveren geen bewijsmap en geen rij in de geschiedenis op.
Hoe een omgevingsfout wordt benoemd
| Oordeel | Wat de engine zag | Wat het betekent |
|---|---|---|
| TIMEOUT | Timeout 30000ms exceeded van Playwright, Wait timed out after van Selenium, een TimeoutError | De uitvoering leverde niet op tijd een antwoord op. Een trage pagina, geen bewijs dat de applicatie defect is. |
| UNREACHABLE | Een naam die niet kon worden omgezet, een geweigerde verbinding of een offline machine, nog voordat er een pagina werd waargenomen | De host was helemaal niet bereikbaar. |
| BLOCKED | Een 403 of een 429, een CAPTCHA, een pagina die toegang weigert of een botcontrole | De site verdedigde zichzelf en het verzoek heeft je product nooit bereikt. |
| CRASHED | Target closed, Page crashed, een DevTools-protocolfout, SessionNotCreatedError | De browser of het stuurprogramma viel uit: controleer de machine en het stuurprogramma. |
Waar de volledige regels staan
Deze pagina is de samenvatting. Hoe 15 oordelen worden bepaald bevat de volledige regels, in de volgorde waarin de engine ze toepast, met de beperkingen van de methode. Het overzicht van oordelen licht elk oordeel op een eigen pagina toe.
Veelgestelde vragen
Geldt slagen met een voorbehoud als slagen in CI?
Ja. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION en SECURITY_VIOLATION geven afsluitcode 0, dus ze laten de build niet mislukken. Het voorbehoud verschijnt in het rapport en in Geschiedenis.
Betekent een TIMEOUT dat de applicatie werkt?
Nee. Een TIMEOUT bewijst niet dat de applicatie werkt. Het betekent dat de uitvoering geen uitsluitsel geeft, dus wordt dit niet als een fout in de applicatie gemeld. Een test die bij elke uitvoering de tijdslimiet overschrijdt, verdient aandacht.
Kunnen toegankelijkheids- of beveiligingscontroles een oordeel wijzigen?
Alleen als je ze in Instellingen op strikt zet. Dan kunnen ze bij een geslaagde test het oordeel wijzigen in SECURITY_VIOLATION, A11Y_VIOLATION of PERFORMANCE_DEGRADED, in die volgorde. Het oordeel van een mislukte test wordt nooit verzwaard.
Hoe betrouwbaar is de classificatie?
De classificatie leest foutteksten, dus een aangepaste assertiemelding met 403 of Forbidden kan als BLOCKED worden geïnterpreteerd. Houd aangepaste meldingen specifiek en open metadata.json als een oordeel je verrast.
Draai het op je eigen machine.
Probeer alle functies gratis op je eigen machines. Geen creditcard nodig.