Testleriniz Playwright, Selenium ve pytest olarak kalır. Bunların yerini almayız. Onları kurumsal kullanıma hazır hale getiririz; kodunuz, kanıtlarınız ve geçmişiniz size ait kalır.

Yeniden denemeyi görünür tutan kararsız test tespiti.

Kararsız test tespiti, denemeleri farklı sonuçlar veren bir testi gerçek bir hatadan ayırır. Nexus StudioQA, Playwright ve Selenium çalıştırmalarının her yeniden denemesini kaydeder: yeniden denemede geçen bir başarısızlık FLAKY, tek denemedeki başarısızlık BREACHED, kendisi de tutarsız olan bir başarısızlık ise BREACHED_FLAKY olarak işaretlenir. Yeniden deneme, bir kusuru asla başarılı bir çalıştırmaya dönüştürmez.

Nexus StudioQA ekibi tarafından, Verdict System LLC.

Son güncelleme: .

Üç karar, tek kural

FLAKY, yalnızca denemelerin farklı sonuçlar verdiği anlamına gelir. Hiç yeniden deneme yapılmadan tek denemede oluşan bir başarısızlık asla kararsız olarak etiketlenmez.

SonuçDenemelerSon denemeCI çıkış koduBaşarısızlık videosu
FLAKYBaşarısız oldu, ardından yeniden denendiGeçti0No
BREACHEDBirBaşarısız1Varsayılan olarak saklananlar
BREACHED_FLAKYBaşarısız oldu, ardından yeniden denendiBaşarısız1Varsayılan olarak saklananlar

Yeniden denemeler nasıl sayılır

  • Deneme numarası belirler

    Yeniden deneme numarası sıfırdan büyük olan başarılı bir test FLAKY olarak işaretlenir; ancak bir seçici onarıldıysa AUTO_RECOVER olur. Sorunsuz bir başarı için yeniden deneme numarasının sıfır olması ve onarılmış seçici bulunmaması gerekir.

  • Önce ortam

    Bir başarısızlığın BREACHED veya BREACHED_FLAKY olarak işaretlenebilmesi için motor önce test düzeneği hatasını, çökmeyi, engellemeyi, erişilemeyen sunucuyu ve zaman aşımını eler. Zaman aşımı veya CAPTCHA, hata raporu olarak sunulmaz.

  • Yavaş bir ilk deneme kararsız değildir

    İlk deneme yalnızca süre, kapalı tarayıcı veya görünürlük beklemesi nedeniyle başarısız olmuş ve yeniden deneme geçmişse karar SECURE olur: bu, kararsızlığı değil gecikmeyi gösterir.

  • Sayı, çalıştırmayla birlikte tutulur

    Her Geçmiş satırı retry_attempt ve attempts değerlerini kaydeder. Başarısız denemenin raw-data.json dosyası saklanır; böylece başarısızlığı gizleyen bir yeniden deneme bile günlüğünü geride bırakır.

Sonucu değişen bir testi saptama

  • Geçmiş eğilimleri

    Geçmiş, her test ve tarayıcı veya cihaz için çalıştırma başına bir satır tutar. Oturum, gün veya hafta bazında eğilimleri gösterir: Geriledi, Düzeldi, Hâlâ bozuk ve Daha yavaş.

  • Risk sıralaması

    Sıralama, testleri sonuçlarının ne sıklıkta değiştiğine, başarısız olduklarına veya zaman harcadıklarına göre sıralar; geçmişiniz üzerinde lojistik regresyonla risk tahmini yapar ve veri az olduğunda EWMA yöntemini kullanır.

  • Beş çalıştırmadan önce hiçbir test kararsız sayılmaz

    Beşten az çalıştırmada Geçmiş ve risk sıralaması hiçbir testi kararsız olarak işaretlemez, çünkü bir veya iki çalıştırma bir örüntü gösteremez.

Sık sorulan sorular

  • Yeniden denemeler gerçek hataları gizler mi?

    Tek durumlar başarılı ve başarısız olduğunda bunu yapabilirler, çünkü başarılı bir yeniden deneme kırmızı bir çalıştırmayı yeşile çevirir. Nexus StudioQA yeniden denemeyi görünür tutar: önce başarısız olup sonra başarılı olan bir test SECURE değil, FLAKY olur ve hem raporda hem de Geçmiş bölümünde görünür.

  • FLAKY durumundaki bir test derlemeyi durdurur mu?

    Hayır. FLAKY, CI ortamında 0 çıkış kodu döndürür, Jira kaydı açmaz ve video saklamaz, ancak çekinceli bir başarı olarak görünür kalır.

  • Playwright testleri neden kararsızdır?

    Yaygın nedenler: paylaşılan veya önceki testlerden kalan veriler, yanlış bir şeyi bekleme, kararsız bir öğe bulucu, ortam ya da gerçekten aralıklı olarak ortaya çıkan bir hata. Yeniden deneme, kararsız bir testi görmenin yoludur, çözüm değildir.

  • FLAKY, bir testin neden kararsız olduğunu söyler mi?

    Hayır. Denemelerin farklı sonuçlar verdiğini söyler. Nedeni uygulamada veya testte bulmak hâlâ bir insanın yapması gereken iştir. Yeniden denemeler kapalıyken aralıklı bir başarısızlık BREACHED olarak değerlendirilir.

Kendi makinenizde çalıştırın.

Tüm özellikleri kendi makinelerinizde ücretsiz deneyin. Kart gerekmez.