Quanto costano i test instabili al tuo team?
Inserisci quanti errori dovuti a test instabili analizza il tuo team ogni settimana, quanto tempo richiede ciascuno e il costo orario di un tecnico. Il calcolatore moltiplica questi valori e mostra il tempo e il denaro che perdi. Funziona nel tuo browser e non invia nulla.
Ultimo aggiornamento:
A cura del team di Nexus StudioQA, Verdict System LLC. 15 ottobre 2026.
I tuoi dati
Valori di esempio. Sostituiscili con i tuoi.
Tempo dei tecnici al mese:
Costo al mese:
Costo all'anno:
Cosa dicono i dati pubblicati?
Il team di test di Google ha riferito nel maggio 2016 che circa l'1,5% di tutte le esecuzioni dei suoi test aveva dato un risultato instabile, che quasi il 16% dei suoi test presentava una certa instabilità e che circa l'84% dei passaggi da esito positivo a negativo osservati coinvolgeva un test instabile. La maggior parte delle esecuzioni in rosso che un team esamina è rumore, non un nuovo bug.
Anche una percentuale bassa si accumula nell'insieme di una suite. Se ogni esecuzione di test dà un risultato instabile nell'1,5% dei casi e i test sono instabili indipendentemente l'uno dall'altro, la probabilità che un'esecuzione dell'intera suite presenti almeno un errore dovuto all'instabilità è 1 − 0.985N per N test:
| Test nella suite | Esecuzioni con almeno un errore dovuto all'instabilità |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Quindi, con 100 test, circa quattro esecuzioni della suite su cinque richiedono che qualcuno esamini un errore che non è un bug. Il tuo tasso non è quello di Google: calcolalo dalla cronologia del tuo sistema CI, poi inserisci il conteggio settimanale nel calcolatore qui sopra. Inoltre, nella realtà gli errori intermittenti non sono indipendenti, perché una causa comune spesso fa fallire più test contemporaneamente.
Come viene calcolato?
Il numero di errori a settimana moltiplicato per i minuti dedicati a ciascun errore, diviso per 60, dà le ore a settimana. Moltiplicando per 52 si ottengono le ore all'anno e dividendo queste per 12 si ottengono le ore al mese. Le ore moltiplicate per il tuo costo orario danno l'importo. Non ci sono fattori nascosti.
I valori di esempio sono numeri tondi che illustrano il tipo di risultato, non dati ricavati da un'indagine aziendale. Conta gli errori nella cronologia della tua CI per alcune settimane prima di fare affidamento sul risultato.
Limiti
- Viene conteggiato solo il tempo di analisi. Sono esclusi il costo di un rilascio ritardato, di un difetto reale ignorato perché la suite grida al lupo, e dei minuti di CI impiegati per rieseguire i test.
- Nei tuoi test, non tutti gli errori avranno lo stesso costo. Una media elevata può nascondere pochi errori che hanno richiesto un'intera giornata.
- Non indica quanto ti farebbe risparmiare uno strumento. Nexus StudioQA contrassegna come FLAKY un errore che scompare al tentativo successivo e come BREACHED un difetto reale, indicando dove guardare prima, ma il tempo risparmiato dipende dalla tua suite.
Come proseguire
Leggi Questo test è instabile o si tratta di un difetto reale? per sapere come vengono stabiliti i verdetti, oppure il calcolatore dei costi hardware per confrontare un abbonamento cloud con una macchina di tua proprietà.