Detectie van instabiele tests die de herhaalpoging zichtbaar houdt.
Detectie van instabiele tests onderscheidt een test met uiteenlopende resultaten per poging van een echte bug. Nexus StudioQA legt elke herhaalpoging van Playwright- en Selenium-uitvoeringen vast: een fout waarbij een herhaalpoging slaagt, krijgt FLAKY, een fout bij één enkele poging krijgt BREACHED en een fout die zelf inconsistent is, krijgt BREACHED_FLAKY. Een herhaalpoging verandert een defect nooit in een geslaagde uitvoering.
Door het Nexus StudioQA-team, Verdict System LLC.
Laatst bijgewerkt: .
Drie oordelen, één regel
FLAKY betekent dat de pogingen verschillende resultaten opleverden, en niets anders. Een fout bij één enkele poging, zonder herhaalpogingen, wordt nooit als instabiel aangemerkt.
| Oordeel | Pogingen | Laatste poging | CI-afsluitcode | Video van de mislukte uitvoering |
|---|---|---|---|---|
| FLAKY | Mislukt, daarna opnieuw geprobeerd | Geslaagd | 0 | No |
| BREACHED | Eén | Mislukt | 1 | Standaard bewaard |
| BREACHED_FLAKY | Mislukt, daarna opnieuw geprobeerd | Mislukt | 1 | Standaard bewaard |
Hoe herhaalde pogingen worden geteld
Het pogingnummer bepaalt
Een geslaagde test met een herhaalnummer boven nul krijgt FLAKY, tenzij een selector is hersteld; in dat geval krijgt de test AUTO_RECOVER. Voor een volledig geslaagde test moet het herhaalnummer nul zijn en mag er geen selector zijn hersteld.
Eerst de omgeving
Voordat een fout BREACHED of BREACHED_FLAKY kan krijgen, sluit de engine een fout in het testraamwerk, een crash, een blokkade, een onbereikbare host en een time-out uit. Een time-out of een CAPTCHA wordt niet als bug gemeld.
Een trage eerste poging is niet instabiel
Als de eerste poging alleen mislukte door tijdsoverschrijding, een gesloten browser of wachten op zichtbaarheid, en de herhaalpoging slaagde, is het oordeel SECURE: dat wijst op vertraging, niet op instabiliteit.
Het aantal blijft bij de uitvoering bewaard
Elke rij in de geschiedenis bevat retry_attempt en attempts. Het bestand raw-data.json van de mislukte poging blijft bewaard, zodat een herhaalpoging die de fout verborg toch het logboek achterlaat.
Een test met wisselende resultaten herkennen
Trends in de geschiedenis
De geschiedenis bewaart één rij per uitvoering voor elke test en browser of elk apparaat. Deze toont trends per sessie, dag of week: Verslechterd, Hersteld, Nog steeds defect en Trager.
Risicorangschikking
De rangschikking ordent tests op basis van hoe vaak ze van resultaat wisselen, mislukken of tijd kosten, met een voorspeld risico op basis van een logistische regressie over je geschiedenis en een EWMA-terugvaloptie bij weinig gegevens.
Onder de vijf uitvoeringen geldt niets als instabiel
Bij minder dan vijf uitvoeringen merken Geschiedenis en de risicorangschikking niets als instabiel aan, omdat één of twee uitvoeringen geen patroon kunnen aantonen.
Veelgestelde vragen
Verbergen herhaalde pogingen echte bugs?
Dat kan als de enige statussen geslaagd en mislukt zijn, omdat een geslaagde herpoging een rode uitvoering groen maakt. Nexus StudioQA houdt de herpoging zichtbaar: een test die eerst mislukte en daarna slaagde, is FLAKY, niet SECURE, en verschijnt in het rapport en in Geschiedenis.
Laat een FLAKY-test de build mislukken?
Nee. FLAKY geeft afsluitcode 0 in CI, maakt geen Jira-ticket aan en bewaart geen video, maar blijft zichtbaar als geslaagd met een voorbehoud.
Waarom zijn Playwright-tests instabiel?
Veelvoorkomende oorzaken: gedeelde of achtergebleven gegevens, wachten op het verkeerde signaal, een instabiele locator, de omgeving of een echte fout die af en toe optreedt. Een herpoging is een manier om een instabiele test te herkennen, geen oplossing.
Geeft FLAKY aan waarom een test instabiel is?
Nee. Het geeft aan dat de pogingen verschillende resultaten opleverden. De oorzaak in de toepassing of de test vinden blijft mensenwerk. Als herpogingen uitstaan, levert een incidentele mislukking BREACHED op.
Draai het op je eigen machine.
Probeer alle functies gratis op je eigen machines. Geen creditcard nodig.