Was kosten Flaky Tests Ihr Team?
Geben Sie ein, wie viele Flaky-Fehler Ihr Team jede Woche analysiert, wie lange jeder einzelne dauert und was eine Entwicklerstunde kostet. Der Rechner multipliziert diese Werte und zeigt Ihnen die verlorene Entwicklerzeit sowie die entstandenen Kosten. Er läuft in Ihrem Browser und überträgt keine Daten.
Zuletzt aktualisiert:
Vom Nexus StudioQA-Team, Verdict System LLC. 15. Oktober 2026.
Ihre Zahlen
Beispielwerte. Ersetzen Sie diese durch Ihre eigenen Angaben.
Ingenieurzeit pro Monat:
Kosten pro Monat:
Kosten pro Jahr:
Was sagen veröffentlichte Zahlen aus?
Googles Testteam berichtete im Mai 2016, dass etwa 1,5% aller Testläufe ein unzuverlässiges Ergebnis lieferten, dass fast 16% der Tests gelegentlich unzuverlässig waren und dass bei etwa 84% der beobachteten Wechsel von bestanden zu fehlgeschlagen ein unzuverlässiger Test beteiligt war. Die meisten roten Testläufe, die ein Team prüft, sind Störsignale, keine neuen Fehler.
Eine geringe Quote summiert sich über eine ganze Testsuite. Wenn jeder Testlauf in 1,5% der Fälle zufallsbedingt fehlschlägt und die Tests dabei unabhängig voneinander sind, beträgt die Wahrscheinlichkeit, dass ein Durchlauf der gesamten Testsuite mindestens einen zufallsbedingten Fehlschlag enthält, bei N Tests 1 − 0.985N:
| Tests in der Testsuite | Testläufe mit mindestens einem zufallsbedingten Fehlschlag |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Bei 100 Tests muss also bei etwa vier von fünf Testsuite-Durchläufen jemand einen Fehlschlag prüfen, der kein Softwarefehler ist. Ihre Quote ist nicht die von Google: Ermitteln Sie sie anhand Ihres eigenen CI-Verlaufs und tragen Sie dann die wöchentliche Anzahl in den Rechner oben ein. Auch in der Praxis sind sporadische Testfehler nicht unabhängig voneinander, da eine gemeinsame Ursache oft mehrere Tests gleichzeitig scheitern lässt.
Wie wird das berechnet?
Fehler pro Woche mal Minuten pro Fehler, geteilt durch 60, ergibt Stunden pro Woche. Mal 52 ergibt Stunden pro Jahr, und das geteilt durch 12 ergibt Stunden pro Monat. Stunden mal Ihre Stundensätze ergeben die Kosten. Es gibt keinen versteckten Faktor.
Die Beispielwerte sind runde Zahlen, um die Größenordnung des Ergebnisses zu veranschaulichen, und keine Umfrage eines bestimmten Unternehmens. Zählen Sie einige Wochen lang Ihre eigenen Fehler aus Ihrer CI-Historie, bevor Sie sich auf das Ergebnis verlassen.
Grenzen
- Es berücksichtigt nur die Triage-Zeit. Ausgelassen werden die Kosten für ein verzögertes Release, für einen echten Bug, der ignoriert wurde, weil die Suite falschen Alarm schlägt, und für CI-Minuten, die für erneute Durchläufe aufgewendet wurden.
- Ihre eigenen Tests verursachen nicht bei jedem Fehlschlag dieselben Kosten. Ein langer Durchschnittswert verschleiert einige Fehlschläge, die einen ganzen Tag in Anspruch genommen haben.
- Es sagt nicht aus, wie viel Ihnen ein Tool einsparen würde. Nexus StudioQA kennzeichnet einen Fehlschlag, der bei einem erneuten Versuch erfolgreich war, als FLAKY und einen echten Defekt als BREACHED. Das zeigt Ihnen, wo Sie zuerst nachsehen sollten, aber die Zeit, die Sie sparen, hängt von Ihrer Testsuite ab.
Nächste Schritte
Lesen Sie Ist dieser Test instabil oder handelt es sich um einen echten Fehler?, um zu erfahren, wie die Ergebnisse ermittelt werden, oder nutzen Sie den Hardware-Kostenrechner, um ein Cloud-Abonnement mit einer eigenen Maschine zu vergleichen.