Ile niestabilne testy kosztują Twój zespół?
Podaj, ile niepowodzeń niestabilnych testów Twój zespół analizuje tygodniowo, ile czasu zajmuje każde z nich i jaki jest koszt godziny pracy inżyniera. Kalkulator mnoży te wartości i pokazuje stracony czas pracy oraz pieniądze. Działa w Twojej przeglądarce i niczego nie wysyła.
Ostatnia aktualizacja:
Autor: zespół Nexus StudioQA, Verdict System LLC. 15 października 2026.
Twoje dane
Przykładowe wartości. Zastąp je własnymi.
Czas pracy inżynierów miesięcznie:
Koszt miesięczny:
Koszt roczny:
Co mówią opublikowane dane liczbowe?
Zespół testowy Google podał w maju 2016 roku, że około 1,5% wszystkich uruchomień testów dawało niestabilny wynik, prawie 16% testów wykazywało pewną niestabilność, a około 84% zaobserwowanych przejść od powodzenia do niepowodzenia dotyczyło niestabilnego testu. Większość nieudanych uruchomień analizowanych przez zespół to szum, a nie nowy błąd.
Niewielki odsetek kumuluje się w całym zestawie. Jeśli każde uruchomienie testu daje niestabilny wynik w 1,5% przypadków, a niestabilność poszczególnych testów jest niezależna, prawdopodobieństwo, że jedno uruchomienie całego zestawu przyniesie co najmniej jedno niepowodzenie wynikające z niestabilności, wynosi 1 − 0,985N dla N testów:
| Liczba testów w zestawie | Uruchomienia z co najmniej jednym niepowodzeniem wynikającym z niestabilności |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Zatem przy 100 testach około cztery na pięć uruchomień zestawu wymaga sprawdzenia niepowodzenia, które nie wynika z błędu. Twój wskaźnik nie jest taki sam jak w Google: oblicz go na podstawie własnej historii CI, a następnie wpisz tygodniową liczbę do kalkulatora powyżej. W praktyce niestabilne wyniki też nie są niezależne, ponieważ jedna wspólna przyczyna często powoduje niepowodzenie kilku testów naraz.
Jak to obliczamy?
Liczba niepowodzeń tygodniowo pomnożona przez liczbę minut na każde niepowodzenie i podzielona przez 60 daje liczbę godzin tygodniowo. Po pomnożeniu przez 52 otrzymujemy liczbę godzin rocznie, a po podzieleniu jej przez 12 — liczbę godzin miesięcznie. Liczba godzin pomnożona przez koszt godziny pracy daje kwotę. Nie ma żadnego ukrytego mnożnika.
Przykładowe wartości to okrągłe liczby pokazujące, jak wygląda wynik, a nie dane z badania jakiejkolwiek firmy. Zanim polegasz na wyniku, policz własne niepowodzenia na podstawie historii CI z kilku tygodni.
Ograniczenia
- Kalkulator uwzględnia tylko czas wstępnej analizy. Pomija koszt opóźnionego wydania, rzeczywistego błędu zignorowanego przez fałszywe alarmy zestawu testów oraz minut CI zużytych na ponowne uruchomienia.
- W Twoich testach nie każde niepowodzenie będzie kosztować tyle samo. Wysoka średnia może ukrywać kilka niepowodzeń, z których każde zajęło cały dzień.
- Kalkulator nie określa, ile zaoszczędzisz dzięki narzędziu. Nexus StudioQA oznacza niepowodzenie testu, który przeszedł przy ponownej próbie, jako FLAKY, a rzeczywistą usterkę jako BREACHED. Dzięki temu wiesz, co sprawdzić najpierw, ale oszczędność czasu zależy od Twojego zestawu testów.
Co dalej
Przeczytaj Czy ten test jest niestabilny, czy to rzeczywisty błąd?, aby dowiedzieć się, jak ustalane są werdykty, lub skorzystaj z kalkulatora kosztów sprzętu, aby porównać abonament chmurowy z własną maszyną.