I tuoi test restano in Playwright, Selenium e pytest. Non li sostituiamo. Li rendiamo pronti per l'uso aziendale, e il codice, le evidenze e la cronologia restano di tua proprietà.

Previsione del rischio dei test con l'IA dalla tua cronologia.

Nexus StudioQA assegna a ogni test e browser un punteggio da 0 a 100 per il rischio che la prossima esecuzione presenti un problema. Una regressione logistica scritta in JavaScript puro apprende dalla cronologia delle esecuzioni sul tuo computer. Quando la cronologia è insufficiente, subentra una media ponderata esponenzialmente. Ogni punteggio elenca i fattori che lo determinano.

A cura del gruppo Nexus StudioQA, Verdict System LLC.

Ultimo aggiornamento: .

Cosa analizza

Per ogni test e browser, il sistema di previsione legge le esecuzioni in ordine cronologico nella Cronologia e ricava otto caratteristiche dalle ultime 10 esecuzioni.

FunzionalitàCosa misura
fail_rate_5, fail_rate_10Quota di esecuzioni problematiche nelle ultime 5 e nelle ultime 10
flaky_rate_10Quota di esecuzioni che hanno richiesto un nuovo tentativo o sono risultate instabili
alternationFrequenza con cui il risultato passa da superato a fallito e viceversa
last_problemSe l'ultima esecuzione ha presentato un problema
streak_signedLa sequenza attuale: positiva per problemi consecutivi, negativa per esecuzioni superate consecutive
duration_cv, duration_driftQuanto è instabile la durata e come si confronta l'ultima esecuzione con la mediana

Un'esecuzione problematica è BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE o BLOCKED. Le esecuzioni Chaos vengono escluse intenzionalmente, perché i loro errori sono introdotti artificialmente e porterebbero il modello ad apprendere informazioni errate.

Il modello e il suo metodo di riserva

SituazioneMetodoRisultato
Almeno 12 campioni aggregati, di cui almeno 4 con problemi e 4 senza problemiRegressione logistica, addestrata su finestre mobili che raggruppano tutti i test e i browserPunteggio da 0 a 100 ricavato dalla probabilità del modello
Un numero inferiore di campioniEuristica: 50% EWMA dei problemi, 20% alternanza, 20% tasso di instabilità, 10% instabilità della durataPunteggio da 0 a 100
Meno di 3 esecuzioni per un testNessunoNessuna riga; viene riportato il numero di questi test

I punteggi pari o superiori a 60 sono ALTI, da 30 a 59 sono MEDI e gli altri sono BASSI. La sezione del modello ne riporta l'accuratezza rispetto a un riferimento basato sulla classe maggioritaria, misurata tramite validazione incrociata leave-one-out (a 5 partizioni oltre i 200 campioni), non tramite l'accuratezza sui dati usati per l'addestramento.

Instabile, non funzionante o incerto

Un test che fallisce ogni volta è prevedibile: non funziona, e ripeterlo non risolverà il problema. Per questo ogni riga riporta anche uno schema di comportamento. Risultati alterni indicano instabilità, un tasso di fallimento pari o superiore all'80% senza alternanza indica un test non funzionante, e tutti gli altri casi sono incerti. Studio classifica i test allo stesso modo, in tre elenchi separati: non deterministici, non funzionanti e costo in secondi impiegati nelle esecuzioni fallite. Una coppia deve avere almeno 5 esecuzioni prima che il suo tasso sia considerato attendibile.

Dove si esegue e dove compare

Si esegue con nexus predict [TC] [--browser b] [--json] [--no-save] e scrive evidence/mlops/flakiness-predictions.json nell'area di lavoro. Studio mostra la classifica nell'Evidence Locker. Non usa servizi esterni né dipendenze aggiuntive: l'addestramento avviene in semplice JavaScript, quindi la cronologia non lascia mai il tuo computer.

Domande frequenti

  • È un modello linguistico di grandi dimensioni?

    No. È una piccola regressione logistica addestrata sulla cronologia delle tue esecuzioni, in semplice JavaScript. È deterministica: la stessa cronologia produce gli stessi punteggi.

  • Prevede un errore nell'applicazione?

    Prevede il rischio che la prossima esecuzione di un test presenti un problema, inclusi instabilità e malfunzionamenti dell'ambiente. Non legge il tuo codice e non indica quale sia il problema.

  • Quanta cronologia serve?

    Servono almeno 3 esecuzioni di un test per assegnargli un punteggio. Per addestrare il modello occorrono almeno 12 campioni aggregati, con almeno 4 esecuzioni con problemi e 4 senza problemi; prima di allora viene usata l'euristica EWMA.

  • Perché il punteggio mostra dei fattori?

    Ogni punteggio elenca fino a tre motivi comprensibili, come un alto tasso di problemi nelle ultime esecuzioni o un'alternanza intermittente di esiti positivi e negativi, così da poter verificare la classifica rispetto alla cronologia.

Scopri quali test falliranno alla prossima esecuzione.

Tutto viene eseguito sulle tue macchine. Non serve una carta di credito.