Kararsız testlerin ekibinize maliyeti nedir?
Ekibinizin her hafta kaç kararsız test başarısızlığını incelediğini, her birinin ne kadar sürdüğünü ve bir mühendislik saatinin maliyetini girin. Hesaplayıcı bunları çarparak kaybettiğiniz mühendislik zamanını ve parayı gösterir. Tarayıcınızda çalışır ve hiçbir veri göndermez.
Son güncelleme:
Nexus StudioQA ekibi tarafından, Verdict System LLC. 15 Ekim 2026.
Verileriniz
Örnek değerler. Kendi değerlerinizle değiştirin.
Aylık mühendislik zamanı:
Aylık maliyet:
Yıllık maliyet:
Yayımlanan veriler ne söylüyor?
Google'ın test ekibi Mayıs 2016'da yayımladığı raporda tüm test çalıştırmalarının yaklaşık %1,5'inin tutarsız sonuç verdiğini, testlerinin neredeyse %16'sında bir miktar tutarsızlık görüldüğünü ve gözlemlediği başarılıdan başarısıza geçişlerin yaklaşık %84'ünde tutarsız bir testin söz konusu olduğunu bildirdi. Bir ekibin incelediği kırmızı çalıştırmaların çoğu yeni bir hata değil, gürültüdür.
Küçük bir oran, test paketinin tamamında birikir. Her test çalıştırması %1,5 olasılıkla tutarsız sonuç veriyorsa ve testlerdeki tutarsızlıklar birbirinden bağımsızsa, tüm paketin tek bir çalıştırmasında tutarsızlıktan kaynaklanan en az bir başarısızlık görülme olasılığı N test için 1 − 0.985N olur:
| Paketteki testler | Tutarsızlıktan kaynaklanan en az bir başarısızlık içeren çalıştırmalar |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Dolayısıyla 100 testte, test paketinin her beş çalıştırılışından yaklaşık dördünde, birinin yazılım hatasından kaynaklanmayan bir başarısızlığı incelemesi gerekir. Sizin oranınız Google'ınkiyle aynı değildir: kendi CI geçmişinizden hesaplayın, ardından haftalık sayıyı yukarıdaki hesaplayıcıya girin. Gerçekte kararsız testlerin başarısızlıkları da birbirinden bağımsız değildir, çünkü ortak bir neden genellikle aynı anda birkaç testin başarısız olmasına yol açar.
Nasıl hesaplanır?
Haftalık başarısızlık sayısı, başarısızlık başına harcanan dakikayla çarpılıp 60'a bölünerek haftalık saat bulunur. Bu değer 52 ile çarpılarak yıllık saat, ardından 12'ye bölünerek aylık saat elde edilir. Saat sayısı saatlik maliyetinizle çarpılarak parasal tutar bulunur. Gizli bir katsayı yoktur.
Örnek değerler, herhangi bir şirket araştırmasına dayanmaz; sonucun nasıl göründüğünü göstermek için yuvarlak sayılar kullanılmıştır. Sonuca güvenmeden önce birkaç haftalık CI geçmişinizden kendi başarısızlıklarınızı sayın.
Sınırlar
- Yalnızca ön inceleme süresini hesaba katar. Geciken bir sürümün, test paketi sürekli asılsız uyarı verdiği için göz ardı edilen gerçek bir hatanın ve yeniden çalıştırmalarda harcanan CI dakikalarının maliyetini içermez.
- Kendi testlerinizde her başarısızlığın maliyeti aynı olmayacaktır. Yüksek bir ortalama, tam bir gün süren birkaç başarısızlığı gizleyebilir.
- Bir aracın size ne kadar tasarruf sağlayacağını söylemez. Nexus StudioQA, yeniden denendiğinde başarılı olan bir başarısızlığı FLAKY, gerçek bir kusuru ise BREACHED olarak etiketler; böylece önce nereye bakmanız gerektiğini bilirsiniz, ancak kazanacağınız zaman test paketinize bağlıdır.
Sonraki adımlar
Kararların nasıl verildiğini öğrenmek için Bu test kararsız mı, yoksa gerçek bir yazılım hatası mı var? yazısını okuyun veya bulut aboneliğiyle kendi makinenizi karşılaştırmak için donanım maliyeti hesaplayıcısını kullanın.