Previsione del rischio dei test con l'IA dalla tua cronologia.
Nexus StudioQA assegna a ogni test e browser un punteggio da 0 a 100 per il rischio che la prossima esecuzione presenti un problema. Una regressione logistica scritta in JavaScript puro apprende dalla cronologia delle esecuzioni sul tuo computer. Quando la cronologia è insufficiente, subentra una media ponderata esponenzialmente. Ogni punteggio elenca i fattori che lo determinano.
A cura del gruppo Nexus StudioQA, Verdict System LLC.
Ultimo aggiornamento: .
Cosa analizza
Per ogni test e browser, il sistema di previsione legge le esecuzioni in ordine cronologico nella Cronologia e ricava otto caratteristiche dalle ultime 10 esecuzioni.
| Funzionalità | Cosa misura |
|---|---|
| fail_rate_5, fail_rate_10 | Quota di esecuzioni problematiche nelle ultime 5 e nelle ultime 10 |
| flaky_rate_10 | Quota di esecuzioni che hanno richiesto un nuovo tentativo o sono risultate instabili |
| alternation | Frequenza con cui il risultato passa da superato a fallito e viceversa |
| last_problem | Se l'ultima esecuzione ha presentato un problema |
| streak_signed | La sequenza attuale: positiva per problemi consecutivi, negativa per esecuzioni superate consecutive |
| duration_cv, duration_drift | Quanto è instabile la durata e come si confronta l'ultima esecuzione con la mediana |
Un'esecuzione problematica è BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE o BLOCKED. Le esecuzioni Chaos vengono escluse intenzionalmente, perché i loro errori sono introdotti artificialmente e porterebbero il modello ad apprendere informazioni errate.
Il modello e il suo metodo di riserva
| Situazione | Metodo | Risultato |
|---|---|---|
| Almeno 12 campioni aggregati, di cui almeno 4 con problemi e 4 senza problemi | Regressione logistica, addestrata su finestre mobili che raggruppano tutti i test e i browser | Punteggio da 0 a 100 ricavato dalla probabilità del modello |
| Un numero inferiore di campioni | Euristica: 50% EWMA dei problemi, 20% alternanza, 20% tasso di instabilità, 10% instabilità della durata | Punteggio da 0 a 100 |
| Meno di 3 esecuzioni per un test | Nessuno | Nessuna riga; viene riportato il numero di questi test |
I punteggi pari o superiori a 60 sono ALTI, da 30 a 59 sono MEDI e gli altri sono BASSI. La sezione del modello ne riporta l'accuratezza rispetto a un riferimento basato sulla classe maggioritaria, misurata tramite validazione incrociata leave-one-out (a 5 partizioni oltre i 200 campioni), non tramite l'accuratezza sui dati usati per l'addestramento.
Instabile, non funzionante o incerto
Un test che fallisce ogni volta è prevedibile: non funziona, e ripeterlo non risolverà il problema. Per questo ogni riga riporta anche uno schema di comportamento. Risultati alterni indicano instabilità, un tasso di fallimento pari o superiore all'80% senza alternanza indica un test non funzionante, e tutti gli altri casi sono incerti. Studio classifica i test allo stesso modo, in tre elenchi separati: non deterministici, non funzionanti e costo in secondi impiegati nelle esecuzioni fallite. Una coppia deve avere almeno 5 esecuzioni prima che il suo tasso sia considerato attendibile.
Dove si esegue e dove compare
Si esegue con nexus predict [TC] [--browser b] [--json] [--no-save] e scrive evidence/mlops/flakiness-predictions.json nell'area di lavoro. Studio mostra la classifica nell'Evidence Locker. Non usa servizi esterni né dipendenze aggiuntive: l'addestramento avviene in semplice JavaScript, quindi la cronologia non lascia mai il tuo computer.
Domande frequenti
È un modello linguistico di grandi dimensioni?
No. È una piccola regressione logistica addestrata sulla cronologia delle tue esecuzioni, in semplice JavaScript. È deterministica: la stessa cronologia produce gli stessi punteggi.
Prevede un errore nell'applicazione?
Prevede il rischio che la prossima esecuzione di un test presenti un problema, inclusi instabilità e malfunzionamenti dell'ambiente. Non legge il tuo codice e non indica quale sia il problema.
Quanta cronologia serve?
Servono almeno 3 esecuzioni di un test per assegnargli un punteggio. Per addestrare il modello occorrono almeno 12 campioni aggregati, con almeno 4 esecuzioni con problemi e 4 senza problemi; prima di allora viene usata l'euristica EWMA.
Perché il punteggio mostra dei fattori?
Ogni punteggio elenca fino a tre motivi comprensibili, come un alto tasso di problemi nelle ultime esecuzioni o un'alternanza intermittente di esiti positivi e negativi, così da poter verificare la classifica rispetto alla cronologia.
Scopri quali test falliranno alla prossima esecuzione.
Tutto viene eseguito sulle tue macchine. Non serve una carta di credito.