AI-risicovoorspelling voor tests op basis van je eigen geschiedenis.
Nexus StudioQA geeft elke test en browser een score van 0 tot 100 voor het risico op een probleem bij de volgende uitvoering. Een logistische regressie geschreven in zuiver JavaScript leert van de uitvoeringsgeschiedenis op je computer. Als er te weinig geschiedenis is, neemt een exponentieel gewogen gemiddelde het over. Bij elke score staan de factoren die eraan ten grondslag liggen.
Door het Nexus StudioQA-team, Verdict System LLC.
Laatst bijgewerkt: .
Waar het naar kijkt
Voor elke test en browser leest de voorspeller de chronologische uitvoeringen in Geschiedenis en stelt acht kenmerken samen op basis van de laatste 10 uitvoeringen.
| Kenmerk | Wat het meet |
|---|---|
| fail_rate_5, fail_rate_10 | Aandeel uitvoeringen met problemen in de laatste 5 en de laatste 10 |
| flaky_rate_10 | Aandeel uitvoeringen dat een nieuwe poging nodig had of instabiel was |
| alternation | Hoe vaak het resultaat wisselt tussen geslaagd en mislukt |
| last_problem | Of de laatste uitvoering een probleem opleverde |
| streak_signed | De huidige reeks: positief bij opeenvolgende problemen, negatief bij opeenvolgende geslaagde uitvoeringen |
| duration_cv, duration_drift | Hoe instabiel de looptijd is, en hoe de laatste uitvoering zich verhoudt tot de mediaan |
Een uitvoering met problemen is BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE of BLOCKED. Chaosuitvoeringen worden bewust weggelaten, omdat de fouten daarin opzettelijk worden veroorzaakt en het model het verkeerde zouden leren.
Het model en de terugvalmethode
| Situatie | Methode | Uitvoer |
|---|---|---|
| Minstens 12 samengevoegde waarnemingen, waarvan minstens 4 met en 4 zonder problemen | Logistische regressie, getraind op schuivende vensters van alle tests en browsers samen | Score van 0 tot 100 op basis van de modelwaarschijnlijkheid |
| Minder waarnemingen dan dat | Heuristiek: 50% EWMA van problemen, 20% afwisseling, 20% aandeel wisselvallige uitvoeringen, 10% instabiliteit van de uitvoeringsduur | Score van 0 tot 100 |
| Minder dan 3 uitvoeringen van een test | Geen | Geen rij; het aantal van zulke tests wordt vermeld |
Scores van 60 of hoger zijn HOOG, 30 tot 59 zijn GEMIDDELD en de rest is LAAG. Het modelblok vermeldt de nauwkeurigheid ten opzichte van een basislijn die altijd de meerderheidsklasse voorspelt, gemeten met leave-one-out-kruisvalidatie (5-voudig boven 200 waarnemingen), niet met de nauwkeurigheid op de eigen trainingsgegevens.
Wisselvallig, defect of onduidelijk
Een test die elke keer mislukt, is voorspelbaar: hij is defect en opnieuw proberen lost dat niet op. Daarom bevat elke rij ook een patroon. Afwisselende resultaten betekenen wisselvallig, een mislukkingspercentage van 80% of meer zonder afwisseling betekent defect en al het andere is onduidelijk. Studio rangschikt tests op dezelfde manier, in drie afzonderlijke lijsten: niet-deterministisch, defect en kosten in seconden besteed aan mislukte uitvoeringen. Een paar heeft minstens 5 uitvoeringen nodig voordat het percentage als een onderbouwde uitspraak geldt.
Waar het draait en waar het verschijnt
Je voert het uit met nexus predict [TC] [--browser b] [--json] [--no-save] en het schrijft evidence/mlops/flakiness-predictions.json in je werkruimte. Studio toont de rangschikking in de Evidence Locker. Het gebruikt geen externe dienst en geen extra afhankelijkheid: de training gebeurt in gewone JavaScript, dus de geschiedenis verlaat je machine nooit.
Veelgestelde vragen
Is dit een groot taalmodel?
Nee. Het is een klein logistisch regressiemodel dat op je uitvoeringsgeschiedenis is getraind, in gewone JavaScript. Het is deterministisch: dezelfde geschiedenis levert dezelfde scores op.
Voorspelt het een fout in de toepassing?
Het voorspelt het risico dat de volgende uitvoering van een test een probleem oplevert, waaronder wisselvalligheid en omgevingsfouten. Het leest je code niet en zegt niet wat er mis is.
Hoeveel geschiedenis heeft het nodig?
Minstens 3 uitvoeringen van een test om überhaupt een score te geven. Om het model te trainen zijn minstens 12 samengevoegde waarnemingen nodig, met minstens 4 uitvoeringen met en 4 zonder problemen; tot die tijd wordt de EWMA-heuristiek gebruikt.
Waarom worden er factoren bij een score getoond?
Bij elke score staan maximaal drie begrijpelijke redenen, zoals een hoog probleempercentage bij de laatste uitvoeringen of een patroon van afwisselend slagen en mislukken, zodat de rangschikking aan de geschiedenis kan worden getoetst.
Bekijk welke tests de volgende keer zullen mislukken.
Alles draait op je eigen machines. Geen creditcard nodig.