Je tests blijven in Playwright, Selenium en pytest. We vervangen ze niet. We maken ze geschikt voor zakelijk gebruik op grote schaal, en jij blijft eigenaar van je code, je bewijsmateriaal en je geschiedenis.

Detectie van instabiele tests die de herhaalpoging zichtbaar houdt.

Detectie van instabiele tests onderscheidt een test met uiteenlopende resultaten per poging van een echte bug. Nexus StudioQA legt elke herhaalpoging van Playwright- en Selenium-uitvoeringen vast: een fout waarbij een herhaalpoging slaagt, krijgt FLAKY, een fout bij één enkele poging krijgt BREACHED en een fout die zelf inconsistent is, krijgt BREACHED_FLAKY. Een herhaalpoging verandert een defect nooit in een geslaagde uitvoering.

Door het Nexus StudioQA-team, Verdict System LLC.

Laatst bijgewerkt: .

Drie oordelen, één regel

FLAKY betekent dat de pogingen verschillende resultaten opleverden, en niets anders. Een fout bij één enkele poging, zonder herhaalpogingen, wordt nooit als instabiel aangemerkt.

OordeelPogingenLaatste pogingCI-afsluitcodeVideo van de mislukte uitvoering
FLAKYMislukt, daarna opnieuw geprobeerdGeslaagd0No
BREACHEDEénMislukt1Standaard bewaard
BREACHED_FLAKYMislukt, daarna opnieuw geprobeerdMislukt1Standaard bewaard

Hoe herhaalde pogingen worden geteld

  • Het pogingnummer bepaalt

    Een geslaagde test met een herhaalnummer boven nul krijgt FLAKY, tenzij een selector is hersteld; in dat geval krijgt de test AUTO_RECOVER. Voor een volledig geslaagde test moet het herhaalnummer nul zijn en mag er geen selector zijn hersteld.

  • Eerst de omgeving

    Voordat een fout BREACHED of BREACHED_FLAKY kan krijgen, sluit de engine een fout in het testraamwerk, een crash, een blokkade, een onbereikbare host en een time-out uit. Een time-out of een CAPTCHA wordt niet als bug gemeld.

  • Een trage eerste poging is niet instabiel

    Als de eerste poging alleen mislukte door tijdsoverschrijding, een gesloten browser of wachten op zichtbaarheid, en de herhaalpoging slaagde, is het oordeel SECURE: dat wijst op vertraging, niet op instabiliteit.

  • Het aantal blijft bij de uitvoering bewaard

    Elke rij in de geschiedenis bevat retry_attempt en attempts. Het bestand raw-data.json van de mislukte poging blijft bewaard, zodat een herhaalpoging die de fout verborg toch het logboek achterlaat.

Een test met wisselende resultaten herkennen

  • Trends in de geschiedenis

    De geschiedenis bewaart één rij per uitvoering voor elke test en browser of elk apparaat. Deze toont trends per sessie, dag of week: Verslechterd, Hersteld, Nog steeds defect en Trager.

  • Risicorangschikking

    De rangschikking ordent tests op basis van hoe vaak ze van resultaat wisselen, mislukken of tijd kosten, met een voorspeld risico op basis van een logistische regressie over je geschiedenis en een EWMA-terugvaloptie bij weinig gegevens.

  • Onder de vijf uitvoeringen geldt niets als instabiel

    Bij minder dan vijf uitvoeringen merken Geschiedenis en de risicorangschikking niets als instabiel aan, omdat één of twee uitvoeringen geen patroon kunnen aantonen.

Veelgestelde vragen

  • Verbergen herhaalde pogingen echte bugs?

    Dat kan als de enige statussen geslaagd en mislukt zijn, omdat een geslaagde herpoging een rode uitvoering groen maakt. Nexus StudioQA houdt de herpoging zichtbaar: een test die eerst mislukte en daarna slaagde, is FLAKY, niet SECURE, en verschijnt in het rapport en in Geschiedenis.

  • Laat een FLAKY-test de build mislukken?

    Nee. FLAKY geeft afsluitcode 0 in CI, maakt geen Jira-ticket aan en bewaart geen video, maar blijft zichtbaar als geslaagd met een voorbehoud.

  • Waarom zijn Playwright-tests instabiel?

    Veelvoorkomende oorzaken: gedeelde of achtergebleven gegevens, wachten op het verkeerde signaal, een instabiele locator, de omgeving of een echte fout die af en toe optreedt. Een herpoging is een manier om een instabiele test te herkennen, geen oplossing.

  • Geeft FLAKY aan waarom een test instabiel is?

    Nee. Het geeft aan dat de pogingen verschillende resultaten opleverden. De oorzaak in de toepassing of de test vinden blijft mensenwerk. Als herpogingen uitstaan, levert een incidentele mislukking BREACHED op.

Draai het op je eigen machine.

Probeer alle functies gratis op je eigen machines. Geen creditcard nodig.