Yeniden denemeyi görünür tutan kararsız test tespiti.
Kararsız test tespiti, denemeleri farklı sonuçlar veren bir testi gerçek bir hatadan ayırır. Nexus StudioQA, Playwright ve Selenium çalıştırmalarının her yeniden denemesini kaydeder: yeniden denemede geçen bir başarısızlık FLAKY, tek denemedeki başarısızlık BREACHED, kendisi de tutarsız olan bir başarısızlık ise BREACHED_FLAKY olarak işaretlenir. Yeniden deneme, bir kusuru asla başarılı bir çalıştırmaya dönüştürmez.
Nexus StudioQA ekibi tarafından, Verdict System LLC.
Son güncelleme: .
Üç karar, tek kural
FLAKY, yalnızca denemelerin farklı sonuçlar verdiği anlamına gelir. Hiç yeniden deneme yapılmadan tek denemede oluşan bir başarısızlık asla kararsız olarak etiketlenmez.
| Sonuç | Denemeler | Son deneme | CI çıkış kodu | Başarısızlık videosu |
|---|---|---|---|---|
| FLAKY | Başarısız oldu, ardından yeniden denendi | Geçti | 0 | No |
| BREACHED | Bir | Başarısız | 1 | Varsayılan olarak saklananlar |
| BREACHED_FLAKY | Başarısız oldu, ardından yeniden denendi | Başarısız | 1 | Varsayılan olarak saklananlar |
Yeniden denemeler nasıl sayılır
Deneme numarası belirler
Yeniden deneme numarası sıfırdan büyük olan başarılı bir test FLAKY olarak işaretlenir; ancak bir seçici onarıldıysa AUTO_RECOVER olur. Sorunsuz bir başarı için yeniden deneme numarasının sıfır olması ve onarılmış seçici bulunmaması gerekir.
Önce ortam
Bir başarısızlığın BREACHED veya BREACHED_FLAKY olarak işaretlenebilmesi için motor önce test düzeneği hatasını, çökmeyi, engellemeyi, erişilemeyen sunucuyu ve zaman aşımını eler. Zaman aşımı veya CAPTCHA, hata raporu olarak sunulmaz.
Yavaş bir ilk deneme kararsız değildir
İlk deneme yalnızca süre, kapalı tarayıcı veya görünürlük beklemesi nedeniyle başarısız olmuş ve yeniden deneme geçmişse karar SECURE olur: bu, kararsızlığı değil gecikmeyi gösterir.
Sayı, çalıştırmayla birlikte tutulur
Her Geçmiş satırı retry_attempt ve attempts değerlerini kaydeder. Başarısız denemenin raw-data.json dosyası saklanır; böylece başarısızlığı gizleyen bir yeniden deneme bile günlüğünü geride bırakır.
Sonucu değişen bir testi saptama
Geçmiş eğilimleri
Geçmiş, her test ve tarayıcı veya cihaz için çalıştırma başına bir satır tutar. Oturum, gün veya hafta bazında eğilimleri gösterir: Geriledi, Düzeldi, Hâlâ bozuk ve Daha yavaş.
Risk sıralaması
Sıralama, testleri sonuçlarının ne sıklıkta değiştiğine, başarısız olduklarına veya zaman harcadıklarına göre sıralar; geçmişiniz üzerinde lojistik regresyonla risk tahmini yapar ve veri az olduğunda EWMA yöntemini kullanır.
Beş çalıştırmadan önce hiçbir test kararsız sayılmaz
Beşten az çalıştırmada Geçmiş ve risk sıralaması hiçbir testi kararsız olarak işaretlemez, çünkü bir veya iki çalıştırma bir örüntü gösteremez.
Sık sorulan sorular
Yeniden denemeler gerçek hataları gizler mi?
Tek durumlar başarılı ve başarısız olduğunda bunu yapabilirler, çünkü başarılı bir yeniden deneme kırmızı bir çalıştırmayı yeşile çevirir. Nexus StudioQA yeniden denemeyi görünür tutar: önce başarısız olup sonra başarılı olan bir test SECURE değil, FLAKY olur ve hem raporda hem de Geçmiş bölümünde görünür.
FLAKY durumundaki bir test derlemeyi durdurur mu?
Hayır. FLAKY, CI ortamında 0 çıkış kodu döndürür, Jira kaydı açmaz ve video saklamaz, ancak çekinceli bir başarı olarak görünür kalır.
Playwright testleri neden kararsızdır?
Yaygın nedenler: paylaşılan veya önceki testlerden kalan veriler, yanlış bir şeyi bekleme, kararsız bir öğe bulucu, ortam ya da gerçekten aralıklı olarak ortaya çıkan bir hata. Yeniden deneme, kararsız bir testi görmenin yoludur, çözüm değildir.
FLAKY, bir testin neden kararsız olduğunu söyler mi?
Hayır. Denemelerin farklı sonuçlar verdiğini söyler. Nedeni uygulamada veya testte bulmak hâlâ bir insanın yapması gereken iştir. Yeniden denemeler kapalıyken aralıklı bir başarısızlık BREACHED olarak değerlendirilir.
Kendi makinenizde çalıştırın.
Tüm özellikleri kendi makinelerinizde ücretsiz deneyin. Kart gerekmez.