Je tests blijven in Playwright, Selenium en pytest. We vervangen ze niet. We maken ze geschikt voor zakelijk gebruik op grote schaal, en jij blijft eigenaar van je code, je bewijsmateriaal en je geschiedenis.

AI-risicovoorspelling voor tests op basis van je eigen geschiedenis.

Nexus StudioQA geeft elke test en browser een score van 0 tot 100 voor het risico op een probleem bij de volgende uitvoering. Een logistische regressie geschreven in zuiver JavaScript leert van de uitvoeringsgeschiedenis op je computer. Als er te weinig geschiedenis is, neemt een exponentieel gewogen gemiddelde het over. Bij elke score staan de factoren die eraan ten grondslag liggen.

Door het Nexus StudioQA-team, Verdict System LLC.

Laatst bijgewerkt: .

Waar het naar kijkt

Voor elke test en browser leest de voorspeller de chronologische uitvoeringen in Geschiedenis en stelt acht kenmerken samen op basis van de laatste 10 uitvoeringen.

KenmerkWat het meet
fail_rate_5, fail_rate_10Aandeel uitvoeringen met problemen in de laatste 5 en de laatste 10
flaky_rate_10Aandeel uitvoeringen dat een nieuwe poging nodig had of instabiel was
alternationHoe vaak het resultaat wisselt tussen geslaagd en mislukt
last_problemOf de laatste uitvoering een probleem opleverde
streak_signedDe huidige reeks: positief bij opeenvolgende problemen, negatief bij opeenvolgende geslaagde uitvoeringen
duration_cv, duration_driftHoe instabiel de looptijd is, en hoe de laatste uitvoering zich verhoudt tot de mediaan

Een uitvoering met problemen is BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE of BLOCKED. Chaosuitvoeringen worden bewust weggelaten, omdat de fouten daarin opzettelijk worden veroorzaakt en het model het verkeerde zouden leren.

Het model en de terugvalmethode

SituatieMethodeUitvoer
Minstens 12 samengevoegde waarnemingen, waarvan minstens 4 met en 4 zonder problemenLogistische regressie, getraind op schuivende vensters van alle tests en browsers samenScore van 0 tot 100 op basis van de modelwaarschijnlijkheid
Minder waarnemingen dan datHeuristiek: 50% EWMA van problemen, 20% afwisseling, 20% aandeel wisselvallige uitvoeringen, 10% instabiliteit van de uitvoeringsduurScore van 0 tot 100
Minder dan 3 uitvoeringen van een testGeenGeen rij; het aantal van zulke tests wordt vermeld

Scores van 60 of hoger zijn HOOG, 30 tot 59 zijn GEMIDDELD en de rest is LAAG. Het modelblok vermeldt de nauwkeurigheid ten opzichte van een basislijn die altijd de meerderheidsklasse voorspelt, gemeten met leave-one-out-kruisvalidatie (5-voudig boven 200 waarnemingen), niet met de nauwkeurigheid op de eigen trainingsgegevens.

Wisselvallig, defect of onduidelijk

Een test die elke keer mislukt, is voorspelbaar: hij is defect en opnieuw proberen lost dat niet op. Daarom bevat elke rij ook een patroon. Afwisselende resultaten betekenen wisselvallig, een mislukkingspercentage van 80% of meer zonder afwisseling betekent defect en al het andere is onduidelijk. Studio rangschikt tests op dezelfde manier, in drie afzonderlijke lijsten: niet-deterministisch, defect en kosten in seconden besteed aan mislukte uitvoeringen. Een paar heeft minstens 5 uitvoeringen nodig voordat het percentage als een onderbouwde uitspraak geldt.

Waar het draait en waar het verschijnt

Je voert het uit met nexus predict [TC] [--browser b] [--json] [--no-save] en het schrijft evidence/mlops/flakiness-predictions.json in je werkruimte. Studio toont de rangschikking in de Evidence Locker. Het gebruikt geen externe dienst en geen extra afhankelijkheid: de training gebeurt in gewone JavaScript, dus de geschiedenis verlaat je machine nooit.

Veelgestelde vragen

  • Is dit een groot taalmodel?

    Nee. Het is een klein logistisch regressiemodel dat op je uitvoeringsgeschiedenis is getraind, in gewone JavaScript. Het is deterministisch: dezelfde geschiedenis levert dezelfde scores op.

  • Voorspelt het een fout in de toepassing?

    Het voorspelt het risico dat de volgende uitvoering van een test een probleem oplevert, waaronder wisselvalligheid en omgevingsfouten. Het leest je code niet en zegt niet wat er mis is.

  • Hoeveel geschiedenis heeft het nodig?

    Minstens 3 uitvoeringen van een test om überhaupt een score te geven. Om het model te trainen zijn minstens 12 samengevoegde waarnemingen nodig, met minstens 4 uitvoeringen met en 4 zonder problemen; tot die tijd wordt de EWMA-heuristiek gebruikt.

  • Waarom worden er factoren bij een score getoond?

    Bij elke score staan maximaal drie begrijpelijke redenen, zoals een hoog probleempercentage bij de laatste uitvoeringen of een patroon van afwisselend slagen en mislukken, zodat de rangschikking aan de geschiedenis kan worden getoetst.

Bekijk welke tests de volgende keer zullen mislukken.

Alles draait op je eigen machines. Geen creditcard nodig.