Bu test kararsız mı, yoksa gerçek bir hata mı var?
Kararsız bir test, kimse hiçbir şeyi düzeltmeden önce başarısız olur, ardından yeniden denemede geçer; gerçek bir hata ise hiçbir yeniden denemenin değiştirmediği bir nedenle başarısız olur. Verdict System LLC'nin ürünü Nexus StudioQA, her yeniden denemeyi kaydederek bunları birbirinden ayırır: yeniden denemede geçen bir başarısızlık için FLAKY, gerçek bir bulgu için BREACHED ve kendisi tutarsız olan bir başarısızlık için BREACHED_FLAKY. Yeniden deneme, bir kusuru asla yeşil bir çalıştırmaya dönüştürmez.
Son güncelleme:
Nexus StudioQA ekibi, Verdict System LLC tarafından. 7 Ekim 2026.
Kararsız test nedir?
Kararsız test, denemelerinin sonuçları birbiriyle uyuşmayan testtir: kod ve test değişmeden, bir denemede başarısız olurken başka bir denemede geçer. Nexus StudioQA'da bu sözcüğün tek bir anlamı vardır. FLAKY, hiçbir şey onarılmadan önce başarısız olan, ardından yeniden denemede geçen bir testtir. Uygulamada veya testte bir şey kararsızdır ve hiçbir şey düzeltilmemiştir.
Her denemede ortaya çıkan kesin bir başarısızlık, kendini onarma adımı bir seçiciyi düzeltmeyi deneyip başaramadığında bile kararsız sayılmaz. Motorun önceki bir sürümü bu durumu FLAKY olarak sınıflandırıyordu. Ekipler FLAKY durumunu "test sorunlu" diye yorumlayıp geçiyor, dolayısıyla uygulamadaki bir bozukluk önemsiz bir uyarı sayılarak sürüme taşınıyordu. Motor artık bunu yapmıyor.
Yeniden denemeler gerçek hataları gizler mi?
Gizleyebilir; bunun nedeni durum sayısıdır. Yalnızca geçti ve kaldı durumları varsa, başarılı bir yeniden deneme kırmızı bir çalıştırmayı yeşile çevirir ve uygulamada aralıklı olarak ortaya çıkan bir kusur görünmez olur. Bu, bulunması en maliyetli hata türlerinden biridir. Kırmızı, anlık bir ağ kesintisi veya çalışmayan bir tarayıcı anlamına da gelebildiğinde ekip, kırmızı sonuçları incelemek yerine yeniden çalıştırmayı alışkanlık edinir ve test paketine duyulan güven azalır.
Nexus StudioQA yeniden denemeyi görünür tutar. Önce başarısız olup sonra geçen bir test SECURE değildir. CI ortamında 0 çıkış koduyla sonlanır, dolayısıyla derlemeyi bozmaz; ancak raporda ve Geçmiş bölümünde FLAKY olarak, çekinceli bir başarı şeklinde görünür. Kontrollerin tam sıralaması için 15 kararın nasıl verildiğine bakın.
Playwright testleri neden tutarsız sonuç verir ve bunları nasıl düzeltirim?
Playwright testleri, diğer tarayıcı testleriyle aynı nedenlerle tutarsız sonuç verir: test veya uygulama, çalıştırmalar arasında değişen bir şeye bağlıdır. Playwright, öğelerin hazır olmasını bekleyerek yaygın nedenlerden birini ortadan kaldırır, ancak test yine de farklı sonuçlar verebilir. Kontrol etmeye değer sırayla yaygın nedenler şunlardır.
- Paylaşılan veya önceki testlerden kalan veriler. İki test aynı hesabı ya da kaydı kullanır veya bir test, başka bir testin oluşturduğu verilere bağlıdır. Her teste kendine ait veriler sağlayın ve sonrasında bunları temizleyin.
- Yanlış şeyi beklemek. Sabit süreli bir bekleme veya istek tamamlanmadan yapılan bir kontrol. Yanıtın gelmesini veya öğenin görünür olmasını bekleyin ve kendiliğinden yeniden deneyen, web odaklı doğrulamalar kullanın.
- Kararsız bir konumlandırıcı. Konuma veya otomatik oluşturulan sınıf adlarına dayalı bir seçici, sayfa değiştiğinde bozulur. Rol, etiket ve test kimliğini tercih edin. Arayüz değişikliğinden sonra bozulan testler
- Ortam. Yavaş bir ağ, istek sınırı veya bot doğrulaması, doğru çalışan bir testin başarısız olmasına neden olur. Bu, testin tutarsızlığı değildir. Yanlış başarısızlık sonuçları
- Gerçek, aralıklı bir hata. Uygulamadaki bir yarış durumu, hiçbir yeniden denemenin gizlememesi gereken bir nedenle bazen hataya yol açar. Yeniden denemeyi görünür tutun ve başarısız denemeyi inceleyin.
Yeniden deneme, tutarsız bir testi görmenin yoludur, çözüm değildir. Nedeni giderin ve o zamana kadar başarısız denemeyi kanıtlar arasında tutun ki sonuçla ilgili çekince raporda yer almaya devam etsin.
FLAKY, BREACHED ve BREACHED_FLAKY arasındaki fark nedir?
- FLAKY: önce başarısız oldu, ardından yeniden denemede geçti ve hiçbir şey onarılmadı. Başarısız denemenin raw-data.json dosyasını, ardından Geçmiş bölümündeki eğilimi inceleyin. 0 çıkış koduyla sonlanır.
- BREACHED: test tek bir denemede başarısız oldu ve hatayı açıklayan bir ortam veya test altyapısı örüntüsü yok. Bir doğrulama başarısız oldu. Bu, hata raporudur ve 1 çıkış koduyla sonlanır.
- BREACHED_FLAKY: test, önceki bir yeniden denemenin ardından son denemesinde başarısız oldu ve bunu açıklayan bir ortam veya test altyapısı örüntüsü yok. Başarısızlığın kendisi tutarsız. Hata kaydı açmadan önce denemeleri karşılaştırın. 1 çıkış koduyla sonlanır.
| Sonuç | Denemeler | Son deneme | CI çıkış kodu | Başarısızlık videosu |
|---|---|---|---|---|
| FLAKY | Başarısız oldu, ardından yeniden denendi | Geçti | 0 | No |
| BREACHED | Bir | Başarısız | 1 | Varsayılan olarak saklananlar |
| BREACHED_FLAKY | Başarısız oldu, ardından yeniden denendi | Başarısız | 1 | Varsayılan olarak saklananlar |
İki yakın durum, tablonun gerçeği yansıtmasını sağlar. AUTO_RECOVER, kendini onarma işleminin bir seçiciyi değiştirdiği başarılı bir sonuçtur; yani yazarın öğe bulucusu artık çalışmıyordur ve test sorunsuz değildir. Yalnızca süre nedeniyle başarısız olan, ardından yeniden denemede geçen bir ilk deneme SECURE sayılır; çünkü bu, kararsızlığı değil gecikmeyi gösterir.
Bir başarısızlığın BREACHED veya BREACHED_FLAKY olabilmesi için sınıflandırıcı, diğer açıklamaları sabit bir sırayla eler: test altyapısı hatası, çökme, engelleme, erişilemeyen sunucu ve zaman aşımı. Yalnızca bunların hiçbirinin açıklayamadığı bir başarısızlık bulgu sayılır. Bu nedenle zaman aşımı veya CAPTCHA, hata raporu olarak gelmez.
Yeniden denemeler nasıl sayılır?
Motor, çalıştırmanın deneme numarasını okur. Yeniden deneme numarası sıfırdan büyük olan başarılı bir test FLAKY olur; ancak bir seçici onarıldıysa AUTO_RECOVER olur. Yeniden deneme numarası sıfırdan büyük olan, başarısız olmuş veya zaman aşımına uğramış ve ortamla açıklanamayan bir test BREACHED_FLAKY olur. Sorunsuz bir başarı için yeniden deneme numarasının sıfır olması ve hiçbir seçicinin onarılmamış olması gerekir.
FLAKY yalnızca denemelerin sonuçlarının uyuşmadığı anlamına gelir. Sıfır yeniden denemeyle, tek bir denemede yaşanan başarısızlık asla kararsız olarak etiketlenmez. Her Geçmiş satırı ayrıca retry_attempt ve attempts değerlerini kaydeder; böylece sayı çalıştırmayla birlikte saklanır.
Her karar hangi kanıtları bırakır?
- FLAKY: screenshot.png, metadata.json ve raw-data.json. Klasör, başarısız denemenin raw-data.json dosyasını saklar; böylece başarısızlığı gizleyen bir yeniden deneme olsa bile başarısızlığın günlüğü kalır. Bu davranış, varsayılan olarak açık olan FLAKY / AUTO_RECOVER ile geçen testlerin kanıtlarını sakla ayarına bağlıdır.
- BREACHED_FLAKY: report.md, metadata.json, raw-data.json ve screenshot.png; ayrıca başarısızlık videosu varsayılan olarak saklanır.
- BREACHED: aynı dosyalar; video varsayılan olarak saklanır.
Karar, kanıt klasörünün adında yer alır; örneğin ad [BREACHED] ile bitebilir. Kanıt sayfası, başarısız bir testi tüm dosyaları üzerinden adım adım inceler.
Geçmiş, sonucu değişen bir testi nasıl saptar?
Geçmiş, her test ve tarayıcı ya da cihaz için her çalıştırmada bir satır tutar; bu satırda sonuç, yeniden deneme girişimi ve hata imzası bulunur. Bu satırlardan oturum, gün veya hafta bazında eğilimleri gösterir: Geriledi, Düzeldi, Hâlâ bozuk ve Yavaşladı. Önce başarılı, sonra başarısız, ardından yeniden başarılı olan bir test, yeniden çalıştırmalar arasında kaybolmak yerine burada görünür.
Evidence Locker ve Patrol içindeki risk sıralaması, testleri ne sıklıkta sonuç değiştirdiklerine, başarısız olduklarına veya zaman kaybettirdiklerine göre sıralar. Ayrıca geçmiş verilerinize uygulanan lojistik regresyonla tahmin edilen riski gösterir; veri az olduğunda ise EWMA yöntemine başvurur. Beş çalıştırmadan önce hiçbir test kararsız olarak nitelenmez, çünkü bir veya iki çalıştırma bir örüntü gösteremez.
Sınırlar
- FLAKY ile SECURE ve BREACHED_FLAKY ile BREACHED arasındaki farkı yeniden denemeler belirler. Yeniden denemeler kapalıyken, ara sıra ortaya çıkan bir başarısızlık BREACHED olarak değerlendirilir.
- KARARSIZ, denemelerin farklı sonuçlar verdiğini söyler. Nedenini söylemez. Nedenin uygulamada mı yoksa testte mi olduğunu bulmak hâlâ bir insanın yapması gereken bir iştir.
- Sınıflandırma hata metnini okur; bu nedenle
403veyaForbiddengibi ifadeler içeren özel bir doğrulama iletisi, ortam sorunu olarak yorumlanabilir. Bir sonuç sizi şaşırttığında metadata.json dosyasını açın. - Beş çalıştırmadan önce Geçmiş ve risk sıralaması hiçbir testi kararsız olarak nitelemez.
Sonraki adımlar
Kanıt sayfası, başarısız olan bir testin bıraktığı tüm dosyaları gösterir, Nexus StudioQA 15 test sonucuna nasıl karar verir ise kontrollerin sırasını açıklar. Ücretsiz deneme, aynı motoru kendi testlerinizde çalıştırır.
Kontrolü önce kendi makinenizde çalıştırmak için Gerçek bir hatayı kararsız bir testten nasıl ayırt ederim? sayfasında çalıştırılabilir bir örnek bulabilirsiniz.