Wat kosten instabiele tests je team?
Vul in hoeveel instabiele testfouten je team elke week onderzoekt, hoeveel tijd elke fout kost en wat een ontwikkelaarsuur kost. De calculator vermenigvuldigt deze waarden en toont hoeveel ontwikkelaarstijd en geld je verliest. Hij werkt in je browser en verstuurt niets.
Laatst bijgewerkt:
Door het Nexus StudioQA-team, Verdict System LLC. 15 oktober 2026.
Jouw cijfers
Voorbeeldwaarden. Vervang ze door je eigen waarden.
Ontwikkelaarstijd per maand:
Kosten per maand:
Kosten per jaar:
Wat zeggen gepubliceerde cijfers?
Het testteam van Google meldde in mei 2016 dat ongeveer 1.5% van alle testuitvoeringen een wisselvallig resultaat opleverde, dat bijna 16% van de tests enige wisselvalligheid vertoonde, en dat bij ongeveer 84% van de waargenomen overgangen van geslaagd naar mislukt een wisselvallige test betrokken was. De meeste rode uitvoeringen die een team bekijkt zijn ruis, geen nieuwe bug.
Een klein percentage tikt aan over een hele testreeks. Als elke testuitvoering in 1.5% van de gevallen een wisselvallig resultaat oplevert en de tests dit onafhankelijk van elkaar doen, is de kans dat één uitvoering van de hele testreeks minstens één mislukking door wisselvalligheid bevat 1 − 0.985N voor N tests:
| Tests in de testreeks | Uitvoeringen met minstens één mislukking door wisselvalligheid |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Bij 100 tests moet dus bij ongeveer vier van de vijf uitvoeringen van de testsuite iemand kijken naar een mislukte test die niet op een fout wijst. Jouw percentage is niet dat van Google: bereken het op basis van je eigen CI-geschiedenis en vul vervolgens het wekelijkse aantal in de rekenhulp hierboven in. Instabiele tests zijn in de praktijk ook niet onafhankelijk van elkaar, omdat één gedeelde oorzaak vaak meerdere tests tegelijk laat mislukken.
Hoe wordt het berekend?
Het aantal fouten per week maal het aantal minuten per fout, gedeeld door 60, geeft het aantal uren per week. Maal 52 geeft het aantal uren per jaar, en dat gedeeld door 12 geeft het aantal uren per maand. Het aantal uren maal je uurtarief geeft de kosten. Er is geen verborgen factor.
De voorbeeldwaarden zijn ronde getallen die laten zien hoe het resultaat eruitziet, geen onderzoeksgegevens van een bedrijf. Tel eerst een paar weken je eigen fouten in je CI-geschiedenis voordat je op de uitkomst vertrouwt.
Beperkingen
- Alleen de tijd voor het beoordelen van fouten telt mee. De kosten van een uitgestelde release, van een echte softwarefout die werd genegeerd omdat de testsuite steeds loos alarm slaat, en van CI-minuten besteed aan het opnieuw uitvoeren van tests blijven buiten beschouwing.
- Bij je eigen tests zullen de kosten per fout verschillen. Achter een hoge gemiddelde tijd kunnen enkele fouten schuilgaan die een hele dag kostten.
- De calculator vertelt niet hoeveel je met een hulpmiddel zou besparen. Nexus StudioQA markeert een mislukte test die bij een nieuwe poging slaagt als FLAKY en een echt defect als BREACHED. Zo weet je waar je eerst moet kijken, maar hoeveel tijd je bespaart, hangt af van je testsuite.
Volgende stappen
Lees Is deze test instabiel, of is het een echte softwarefout? om te weten hoe de oordelen worden bepaald, of gebruik de hardwarekostencalculator om een cloudabonnement te vergelijken met een eigen machine.