Waarom mislukken mijn tests terwijl de applicatie goed werkt?
Een end-to-end-test wordt rood wanneer het netwerk traag is, DNS niet werkt, de site antwoordt met een 403 of een 429 of een botcontrole toont, of de browser vastloopt, en niets daarvan is een defect in je applicatie. Nexus StudioQA, van Verdict System LLC, geeft deze mislukkingen een eigen oordeel: TIMEOUT, UNREACHABLE, BLOCKED en CRASHED. Geen daarvan wordt als een bug in de applicatie gemeld.
Laatst bijgewerkt:
Door het team van Nexus StudioQA, Verdict System LLC. 7 oktober 2026.
Eén uitvoering, zeven tests, zeven verschillende oordelen
Een rode test kan drie heel verschillende dingen betekenen: de applicatie werkte niet meer, de netwerkverbinding viel even weg of de site toonde een botcontrole. Deze uitvoering van zeven tests levert SECURE, FLAKY, BREACHED, TIMEOUT, CRASHED, BLOCKED en UNREACHABLE op. Alleen BREACHED is een foutrapport; de andere mislukkingen wijzen op een probleem met de omgeving of het testraamwerk, en opnieuw proberen verandert een defect nooit in een groene uitvoering.
Waardoor mislukt een test zonder dat er een bug is?
Een test meldt alleen dat iets niet is gebeurd. De oorzaak kan op vier plekken liggen die niets met je code te maken hebben:
- de pagina was traag en de test overschreed de tijdslimiet;
- de host was niet bereikbaar, bijvoorbeeld doordat de naam niet kon worden omgezet naar een IP-adres;
- de site beschermde zichzelf met een 403, een 429, een CAPTCHA of een botcontrole, waardoor het verzoek je product nooit bereikte;
- de browser of het proces viel uit.
Als al deze gevallen alleen als rood worden weergegeven, registreert het team ze als bugs, of leert het rode tests opnieuw uit te voeren in plaats van de resultaten te lezen. In beide gevallen raakt het echte defect verborgen in de ruis.
Hoe onderscheidt Nexus StudioQA een onterecht mislukte test van een bug?
Wanneer een test mislukt, leest de engine de foutmelding en het netwerklogboek van de uitvoering en vergelijkt deze in een vaste volgorde met groepen patronen. De eerste groep die overeenkomt, bepaalt het oordeel. De volgorde is CONFIG_ERROR, daarna CRASHED, BLOCKED, UNREACHABLE en TIMEOUT, en pas daarna BREACHED_FLAKY of BREACHED. Zo blijft BREACHED, het oordeel dat een bugrapport oplevert, voorbehouden aan een mislukking die niet door een patroon uit de omgeving of de testinfrastructuur wordt verklaard. De patronen dekken de formuleringen van zowel Playwright als Selenium WebDriver.
Wat betekenen TIMEOUT, UNREACHABLE, BLOCKED en CRASHED?
- TIMEOUT: de test kreeg niet op tijd antwoord. Dat bewijst niet dat de applicatie defect is, en ook niet dat die werkt: de uitvoering kan daar geen uitsluitsel over geven. Een navigatie die de tijdslimiet overschrijdt, is een TIMEOUT, omdat die wel begon maar de pagina traag was.
- UNREACHABLE: de host was helemaal niet bereikbaar. DNS of de verbinding werkte niet voordat er een pagina kon worden waargenomen, bijvoorbeeld door een naam die niet naar een IP-adres kon worden omgezet, een geweigerde verbinding of een offline machine. Een certificaatfout valt hier niet onder: dat is een bevinding.
- BLOCKED: de site beschermde zichzelf met een 403, een 429, een blokkeringspagina of een botcontrole. Als er een beveiligingsmaatregel op het scherm stond, vermeldt metadata.json welke dat was. Een echte Android-telefoon die in slaapstand staat of vergrendeld is, krijgt ook BLOCKED, omdat niet aan een vereiste is voldaan.
- CRASHED: de browser of het proces viel uit, bijvoorbeeld door een gesloten pagina, een DevTools-protocolfout of een verbroken WebDriver-sessie. Dit ligt aan de infrastructuur: controleer de machine en het stuurprogramma.
| Oordeel | Waar de fout zit | Typische fout | Video van de mislukte uitvoering | Jira-ticket |
|---|---|---|---|---|
| TIMEOUT | Onbekend: de uitvoering geeft geen uitsluitsel | Timeout 30000ms exceeded | Standaard uitgeschakeld | Ingediend |
| UNREACHABLE | Netwerk of DNS | net::ERR_NAME_NOT_RESOLVED | Niet aangeboden | Nooit |
| BLOCKED | De beveiliging van de site | 403, 429 of een botcontrole | Standaard uitgeschakeld | Nooit |
| CRASHED | Browser of stuurprogramma | Target closed, Page crashed | Niet aangeboden | Nooit |
De gids voor oordelen vermeldt de exacte foutpatronen achter elk oordeel.
Wat ziet mijn CI-pijplijn?
Zeven van de 15 oordelen geven afsluitcode 0: SECURE, AUTO_RECOVER, FLAKY, CHAOS_RESILIENT, PERFORMANCE_DEGRADED, A11Y_VIOLATION en SECURITY_VIOLATION. De andere zeven geven afsluitcode 1, waaronder TIMEOUT, UNREACHABLE, BLOCKED en CRASHED. De build wordt dus nog steeds rood, omdat de test niet is geslaagd, maar het rapport en de Geschiedenis vermelden de oorzaak. De pytest- en Selenium-testrunners geven afsluitcode 2 als de uitvoering helemaal niet kon starten.
Welk bewijsmateriaal wordt bij elke onterecht mislukte test bewaard?
Bij alle vier worden report.md, metadata.json, raw-data.json en een schermafbeelding van het laatste beeld bewaard. Voor video verschilt dit:
- TIMEOUT en BLOCKED: video staat standaard uit. Schakel dit in bij Instellingen, onder Video van mislukte tests bewaren voor.
- UNREACHABLE: er wordt geen video aangeboden, omdat er geen pagina is geladen en de opname leeg zou zijn.
- CRASHED: er wordt geen video aangeboden, omdat de opname van een uitgevallen browser onbruikbaar is.
Alleen Playwright-uitvoeringen voor het web en geëmuleerde mobiele apparaten nemen video op. Een echte Android-telefoon, een Selenium-uitvoering en een API-test doen dat niet.
Als Jira is ingeschakeld, wordt bij een TIMEOUT een ticket aangemaakt, maar nooit bij een blokkering, een crash of een onbereikbare site.
Wat zijn de beperkingen?
- De classificatie leest foutteksten. Een zelfgeschreven melding die
403,ForbiddenofAccess Deniedbevat, wordt als BLOCKED geïnterpreteerd. Houd aangepaste assertiemeldingen specifiek, en open metadata.json als een oordeel je verrast. - Een TIMEOUT bewijst niet dat de applicatie werkt. Een test die bij elke uitvoering de tijdslimiet overschrijdt, verdient aandacht.
- Een langere time-out verbergt een defect element niet: de test mislukt alleen later.
- Deze beoordelingen benoemen de oorzaak van een mislukte uitvoering. Ze nemen de oorzaak niet weg: een geblokkeerde site blijft geblokkeerd totdat je die op een andere manier benadert.
Waar kan ik het zien?
De pagina met bewijsmateriaal volgt één mislukte test en vermeldt alle bestanden die elke uitslag op je schijf achterlaat. De gids voor testuitslagen legt uit in welke volgorde de engine alle 15 uitslagen bepaalt. De gratis proefversie gebruikt dezelfde engine voor je eigen tests.