Combien les tests instables coûtent-ils à votre équipe ?
Indiquez le nombre d'échecs instables que votre équipe examine chaque semaine, le temps nécessaire pour chacun et le coût d'une heure d'ingénieur. Le calculateur les multiplie et affiche le temps d'ingénieur et l'argent que vous perdez. Il s'exécute dans votre navigateur et n'envoie aucune donnée.
Dernière mise à jour :
Par l'équipe Nexus StudioQA, Verdict System LLC. 15 octobre 2026.
Vos chiffres
Valeurs d'exemple. Remplacez-les par les vôtres.
Temps ingénieur par mois :
Coût par mois :
Coût par an :
Que disent les chiffres publiés ?
L’équipe de test de Google a indiqué en mai 2016 qu’environ 1,5 % de ses exécutions de tests produisaient un résultat instable, que près de 16 % de ses tests présentaient une certaine instabilité et qu’environ 84 % des passages de la réussite à l’échec observés impliquaient un test instable. La plupart des exécutions en rouge qu’une équipe examine relèvent du bruit, et non d’un nouveau bug.
Un faible taux finit par peser à l’échelle d’une suite. Si chaque exécution de test est instable dans 1,5 % des cas et que les tests sont instables indépendamment les uns des autres, la probabilité qu’une exécution de la suite entière présente au moins un échec dû à cette instabilité est de 1 − 0.985N pour N tests :
| Tests dans la suite | Exécutions avec au moins un échec dû à l’instabilité |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Avec 100 tests, environ quatre exécutions de la suite sur cinq nécessitent donc que quelqu'un examine un échec qui n'est pas un bug. Votre taux n'est pas celui de Google : calculez-le à partir de votre propre historique d'intégration continue, puis saisissez le nombre hebdomadaire dans le calculateur ci-dessus. En pratique, les échecs intermittents ne sont pas non plus indépendants, car une même cause fait souvent échouer plusieurs tests à la fois.
Comment cela est-il calculé ?
Le nombre d'échecs par semaine multiplié par les minutes par échec, divisé par 60, donne les heures par semaine. Multiplié par 52, cela donne les heures par an, et divisé par 12, les heures par mois. Les heures multipliées par votre coût horaire donnent le montant financier. Il n'y a aucun facteur caché.
Les valeurs d'exemple sont des chiffres ronds pour illustrer l'ordre de grandeur du résultat, et non une étude portant sur une entreprise. Comptez vos propres échecs à partir de votre historique d'intégration continue pendant quelques semaines avant de vous fier au résultat.
Limites
- Cela ne prend en compte que le temps de triage. Cela exclut le coût d'une version retardée, d'un véritable bug ignoré parce que la suite d'alertes crie au loup, ainsi que les minutes de CI passées sur les réexécutions.
- Vos propres tests n'auront pas le même coût pour chaque échec. Une moyenne globale masque les quelques échecs qui ont nécessité une journée entière.
- Cela n'indique pas combien un outil vous ferait économiser. Nexus StudioQA qualifie un échec ayant réussi lors d'une nouvelle tentative de FLAKY et un véritable défaut de BREACHED, ce qui vous indique où regarder en premier, mais le temps que vous gagnez dépend de votre suite de tests.
Où aller ensuite
Consultez Ce test est-il intermittent ou s'agit-il d'un véritable bug ? pour comprendre comment les verdicts sont rendus, ou le calculateur de coût matériel pour comparer un abonnement cloud avec votre propre machine.