Je tests blijven in Playwright, Selenium en pytest. We vervangen ze niet. We maken ze geschikt voor zakelijk gebruik op grote schaal, en jij blijft eigenaar van je code, je bewijsmateriaal en je geschiedenis.

Forensische testoordelen: 15 uitkomsten in plaats van geslaagd of mislukt.

Forensische testoordelen vervangen geslaagd of mislukt door een benoemde uitkomst die aangeeft waar de oorzaak van een resultaat ligt. Nexus StudioQA kent elke uitvoering een van 15 oordelen toe: volledig geslaagd, geslaagd met een voorbehoud, een defecte applicatie, een verouderde test of een omgevingsprobleem zoals een time-out of een botblokkade. Alleen een mislukking die aan de applicatie ligt, levert een foutrapport op.

Door het Nexus StudioQA-team, Verdict System LLC.

Laatst bijgewerkt: .

De 15 oordelen, per groep

De 15 oordelen zijn SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED en CRASHED.

GroepBeoordelingenCI-afsluitcodeIs het een bugmelding?
GeslaagdSECURE, CHAOS_RESILIENT0No
Geslaagd met een voorbehoudAUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0Nee, maar het rapport en de Geschiedenis tonen het voorbehoud
De applicatie werkt niet meerBREACHED, BREACHED_FLAKY, CHAOS_BREACHED1Ja
De test is verouderdTEST_DRIFT1Ja, voor de test: herstel de regel
Het ligt aan de omgevingTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

Hoe de engine een oordeel kiest

  • Drie vragen, in volgorde

    Heeft de test überhaupt een resultaat opgeleverd? Als hij is geslaagd, was dat zonder voorbehoud? Als hij is mislukt, waar ligt de oorzaak: bij de testinfrastructuur, de omgeving of de applicatie?

  • Een vaste volgorde van patronen

    Bij een mislukking vergelijkt de engine de foutmelding en het netwerklogboek in een vaste volgorde met groepen patronen. De eerste groep die overeenkomt, geeft de doorslag, dus de volgorde maakt deel uit van het ontwerp. De formuleringen van zowel Playwright als Selenium WebDriver worden herkend.

  • Niet alles krijgt een oordeel

    SKIPPED, INTERRUPTED en CONFIG_ERROR behoren niet tot de 15, omdat geen ervan iets over je applicatie zegt. Ze leveren geen bewijsmap en geen rij in de geschiedenis op.

Hoe een omgevingsfout wordt benoemd

OordeelWat de engine zagWat het betekent
TIMEOUTTimeout 30000ms exceeded van Playwright, Wait timed out after van Selenium, een TimeoutErrorDe uitvoering leverde niet op tijd een antwoord op. Een trage pagina, geen bewijs dat de applicatie defect is.
UNREACHABLEEen naam die niet kon worden omgezet, een geweigerde verbinding of een offline machine, nog voordat er een pagina werd waargenomenDe host was helemaal niet bereikbaar.
BLOCKEDEen 403 of een 429, een CAPTCHA, een pagina die toegang weigert of een botcontroleDe site verdedigde zichzelf en het verzoek heeft je product nooit bereikt.
CRASHEDTarget closed, Page crashed, een DevTools-protocolfout, SessionNotCreatedErrorDe browser of het stuurprogramma viel uit: controleer de machine en het stuurprogramma.

Waar de volledige regels staan

Deze pagina is de samenvatting. Hoe 15 oordelen worden bepaald bevat de volledige regels, in de volgorde waarin de engine ze toepast, met de beperkingen van de methode. Het overzicht van oordelen licht elk oordeel op een eigen pagina toe.

Veelgestelde vragen

  • Geldt slagen met een voorbehoud als slagen in CI?

    Ja. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION en SECURITY_VIOLATION geven afsluitcode 0, dus ze laten de build niet mislukken. Het voorbehoud verschijnt in het rapport en in Geschiedenis.

  • Betekent een TIMEOUT dat de applicatie werkt?

    Nee. Een TIMEOUT bewijst niet dat de applicatie werkt. Het betekent dat de uitvoering geen uitsluitsel geeft, dus wordt dit niet als een fout in de applicatie gemeld. Een test die bij elke uitvoering de tijdslimiet overschrijdt, verdient aandacht.

  • Kunnen toegankelijkheids- of beveiligingscontroles een oordeel wijzigen?

    Alleen als je ze in Instellingen op strikt zet. Dan kunnen ze bij een geslaagde test het oordeel wijzigen in SECURITY_VIOLATION, A11Y_VIOLATION of PERFORMANCE_DEGRADED, in die volgorde. Het oordeel van een mislukte test wordt nooit verzwaard.

  • Hoe betrouwbaar is de classificatie?

    De classificatie leest foutteksten, dus een aangepaste assertiemelding met 403 of Forbidden kan als BLOCKED worden geïnterpreteerd. Houd aangepaste meldingen specifiek en open metadata.json als een oordeel je verrast.

Draai het op je eigen machine.

Probeer alle functies gratis op je eigen machines. Geen creditcard nodig.