Rilevamento dei test instabili che mantiene visibile ogni nuovo tentativo.
Il rilevamento dei test instabili distingue un test con risultati discordanti tra i tentativi da un bug reale. Nexus StudioQA registra ogni nuovo tentativo delle esecuzioni Playwright e Selenium: un errore seguito da un tentativo riuscito è FLAKY, un errore in un unico tentativo è BREACHED e un errore a sua volta incostante è BREACHED_FLAKY. Un nuovo tentativo non trasforma mai un difetto in un'esecuzione riuscita.
A cura del gruppo Nexus StudioQA, Verdict System LLC.
Ultimo aggiornamento: .
Tre verdetti, una regola
FLAKY significa che i tentativi hanno dato risultati discordanti, e nient'altro. Un errore in un unico tentativo, senza ulteriori tentativi, non viene mai classificato come instabile.
| Verdetto | Tentativi | Ultimo tentativo | Codice di uscita CI | Video dell'errore |
|---|---|---|---|---|
| FLAKY | Fallito, poi ritentato | Superato | 0 | No |
| BREACHED | Uno | Fallito | 1 | Conservati per impostazione predefinita |
| BREACHED_FLAKY | Fallito, poi ritentato | Fallito | 1 | Conservati per impostazione predefinita |
Come vengono conteggiati i tentativi
Decide il numero del tentativo
Un test riuscito con un numero di nuovo tentativo superiore a zero è FLAKY, a meno che non sia stato corretto un selettore, nel qual caso è AUTO_RECOVER. Un esito positivo senza anomalie richiede un numero di nuovo tentativo pari a zero e nessun selettore corretto.
Prima l'ambiente
Prima che un errore possa essere BREACHED o BREACHED_FLAKY, il motore esclude un errore dell'infrastruttura di test, un arresto anomalo, un blocco, un host irraggiungibile e un timeout. Un timeout o un CAPTCHA non viene presentato come segnalazione di bug.
Un primo tentativo lento non è instabile
Quando il primo tentativo è fallito solo per un limite di tempo, un browser chiuso o un'attesa di visibilità, e il nuovo tentativo è riuscito, il verdetto è SECURE: indica latenza, non instabilità.
Il conteggio resta associato all'esecuzione
Ogni riga della Cronologia registra retry_attempt e attempts. Il file raw-data.json del tentativo fallito viene conservato, quindi un nuovo tentativo che ha nascosto l'errore lascia comunque il relativo registro.
Individuare un test che cambia esito
Andamenti nella cronologia
La Cronologia conserva una riga per esecuzione per ogni test e browser o dispositivo. Mostra gli andamenti per sessione, giorno o settimana: Peggiorato, Ripristinato, Ancora non funzionante e Più lento.
Classifica del rischio
La classifica ordina i test in base alla frequenza con cui cambiano esito, falliscono o richiedono tempo, con una previsione del rischio ottenuta tramite regressione logistica sulla cronologia e un metodo EWMA alternativo quando i dati sono scarsi.
Nessun test è instabile con meno di cinque esecuzioni
Con meno di cinque esecuzioni, la Cronologia e la classifica dei rischi non classificano nulla come instabile, perché una o due esecuzioni non bastano a mostrare uno schema ricorrente.
Domande frequenti
I nuovi tentativi nascondono i veri bug?
Possono farlo quando gli unici stati sono superato e fallito, perché un nuovo tentativo riuscito fa passare un'esecuzione dal rosso al verde. Nexus StudioQA mantiene visibile il nuovo tentativo: un test prima fallito e poi superato è FLAKY, non SECURE, e compare nel rapporto e nella Cronologia.
Un test FLAKY blocca la compilazione?
No. FLAKY termina con codice 0 in CI, non apre alcuna segnalazione Jira e non conserva video, ma resta visibile come superato con riserva.
Perché i test Playwright sono instabili?
Cause comuni: dati condivisi o residui, un'attesa sulla condizione sbagliata, un localizzatore instabile, l'ambiente o un vero errore intermittente. Un nuovo tentativo serve a individuare un test instabile, non a correggerlo.
FLAKY indica perché un test è instabile?
No. Indica che i tentativi hanno dato esiti diversi. Individuare la causa nell'applicazione o nel test resta un compito umano. Con i nuovi tentativi disattivati, un errore intermittente produce un esito BREACHED.
Eseguilo sulla tua macchina.
Prova gratis tutte le funzionalità, sulle tue macchine. Non serve una carta.