I tuoi test restano in Playwright, Selenium e pytest. Non li sostituiamo. Li rendiamo pronti per l'uso aziendale, e il codice, le evidenze e la cronologia restano di tua proprietà.

Rilevamento dei test instabili che mantiene visibile ogni nuovo tentativo.

Il rilevamento dei test instabili distingue un test con risultati discordanti tra i tentativi da un bug reale. Nexus StudioQA registra ogni nuovo tentativo delle esecuzioni Playwright e Selenium: un errore seguito da un tentativo riuscito è FLAKY, un errore in un unico tentativo è BREACHED e un errore a sua volta incostante è BREACHED_FLAKY. Un nuovo tentativo non trasforma mai un difetto in un'esecuzione riuscita.

A cura del gruppo Nexus StudioQA, Verdict System LLC.

Ultimo aggiornamento: .

Tre verdetti, una regola

FLAKY significa che i tentativi hanno dato risultati discordanti, e nient'altro. Un errore in un unico tentativo, senza ulteriori tentativi, non viene mai classificato come instabile.

VerdettoTentativiUltimo tentativoCodice di uscita CIVideo dell'errore
FLAKYFallito, poi ritentatoSuperato0No
BREACHEDUnoFallito1Conservati per impostazione predefinita
BREACHED_FLAKYFallito, poi ritentatoFallito1Conservati per impostazione predefinita

Come vengono conteggiati i tentativi

  • Decide il numero del tentativo

    Un test riuscito con un numero di nuovo tentativo superiore a zero è FLAKY, a meno che non sia stato corretto un selettore, nel qual caso è AUTO_RECOVER. Un esito positivo senza anomalie richiede un numero di nuovo tentativo pari a zero e nessun selettore corretto.

  • Prima l'ambiente

    Prima che un errore possa essere BREACHED o BREACHED_FLAKY, il motore esclude un errore dell'infrastruttura di test, un arresto anomalo, un blocco, un host irraggiungibile e un timeout. Un timeout o un CAPTCHA non viene presentato come segnalazione di bug.

  • Un primo tentativo lento non è instabile

    Quando il primo tentativo è fallito solo per un limite di tempo, un browser chiuso o un'attesa di visibilità, e il nuovo tentativo è riuscito, il verdetto è SECURE: indica latenza, non instabilità.

  • Il conteggio resta associato all'esecuzione

    Ogni riga della Cronologia registra retry_attempt e attempts. Il file raw-data.json del tentativo fallito viene conservato, quindi un nuovo tentativo che ha nascosto l'errore lascia comunque il relativo registro.

Individuare un test che cambia esito

  • Andamenti nella cronologia

    La Cronologia conserva una riga per esecuzione per ogni test e browser o dispositivo. Mostra gli andamenti per sessione, giorno o settimana: Peggiorato, Ripristinato, Ancora non funzionante e Più lento.

  • Classifica del rischio

    La classifica ordina i test in base alla frequenza con cui cambiano esito, falliscono o richiedono tempo, con una previsione del rischio ottenuta tramite regressione logistica sulla cronologia e un metodo EWMA alternativo quando i dati sono scarsi.

  • Nessun test è instabile con meno di cinque esecuzioni

    Con meno di cinque esecuzioni, la Cronologia e la classifica dei rischi non classificano nulla come instabile, perché una o due esecuzioni non bastano a mostrare uno schema ricorrente.

Domande frequenti

  • I nuovi tentativi nascondono i veri bug?

    Possono farlo quando gli unici stati sono superato e fallito, perché un nuovo tentativo riuscito fa passare un'esecuzione dal rosso al verde. Nexus StudioQA mantiene visibile il nuovo tentativo: un test prima fallito e poi superato è FLAKY, non SECURE, e compare nel rapporto e nella Cronologia.

  • Un test FLAKY blocca la compilazione?

    No. FLAKY termina con codice 0 in CI, non apre alcuna segnalazione Jira e non conserva video, ma resta visibile come superato con riserva.

  • Perché i test Playwright sono instabili?

    Cause comuni: dati condivisi o residui, un'attesa sulla condizione sbagliata, un localizzatore instabile, l'ambiente o un vero errore intermittente. Un nuovo tentativo serve a individuare un test instabile, non a correggerlo.

  • FLAKY indica perché un test è instabile?

    No. Indica che i tentativi hanno dato esiti diversi. Individuare la causa nell'applicazione o nel test resta un compito umano. Con i nuovi tentativi disattivati, un errore intermittente produce un esito BREACHED.

Eseguilo sulla tua macchina.

Prova gratis tutte le funzionalità, sulle tue macchine. Non serve una carta.