Adli test hükümleri: başarılı veya başarısız yerine 15 sonuç.
Adli test hükümleri, başarılı veya başarısız yerine sonucun sorumluluğunun kimde olduğunu belirten adlandırılmış bir sonuç sunar. Nexus StudioQA her çalıştırmaya 15 hükümden birini verir: sorunsuz başarı, çekinceli başarı, bozuk uygulama, güncelliğini yitirmiş test veya zaman aşımı ya da bot engeli gibi bir ortam sorunu. Yalnızca uygulamadan kaynaklanan bir başarısızlık hata raporu sayılır.
Nexus StudioQA ekibi tarafından, Verdict System LLC.
Son güncelleme: .
Gruplara göre 15 hüküm
15 hüküm şunlardır: SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED ve CRASHED.
| Grup | Sonuçlar | CI çıkış kodu | Bu bir hata bildirimi mi? |
|---|---|---|---|
| Geçti | SECURE, CHAOS_RESILIENT | 0 | No |
| Çekinceyle başarılı | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Hayır, ancak rapor ve Geçmiş çekinceyi gösterir |
| Uygulama bozuldu | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Evet |
| Test güncelliğini yitirdi | TEST_DRIFT | 1 | Evet, test için: satırı onarın |
| Sorun ortamdan kaynaklanıyor | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Motor bir hükmü nasıl seçer
Sırayla üç soru
Test herhangi bir sonuç üretti mi? Başarılı olduysa sorunsuz mu geçti? Başarısız olduysa sorumlu kim: test düzeneği mi, ortam mı, uygulama mı?
Sabit bir örüntü sırası
Başarısızlık durumunda motor, hata mesajını ve ağ günlüğünü sabit bir sırayla örüntü gruplarıyla karşılaştırır. İlk eşleşen grup kararı belirler; dolayısıyla bu sıra tasarımın bir parçasıdır. Hem Playwright hem de Selenium WebDriver ifadeleri kapsanır.
Her şeye hüküm verilmez
SKIPPED, INTERRUPTED ve CONFIG_ERROR bu 15 hüküm arasında değildir; çünkü hiçbiri uygulamanız hakkında bir şey söylemez. Bunlar için kanıt klasörü veya Geçmiş satırı oluşturulmaz.
Ortam kaynaklı bir başarısızlık nasıl adlandırılır
| Sonuç | Motorun gördükleri | Anlamı |
|---|---|---|
| TIMEOUT | Playwright'ın Timeout 30000ms exceeded mesajı, Selenium'un Wait timed out after mesajı, bir TimeoutError | Çalıştırma zamanında yanıt vermedi. Yavaş bir sayfa, uygulamanın bozuk olduğunun kanıtı değildir. |
| UNREACHABLE | Henüz hiçbir sayfa gözlemlenmeden çözümlenemeyen bir ad, reddedilen bir bağlantı veya çevrimdışı bir makine | Sunucuya hiç ulaşılamadı. |
| BLOCKED | Bir 403 veya 429, CAPTCHA, erişim reddedildi sayfası veya bot doğrulaması | Site kendini savundu ve istek ürününüze hiç ulaşmadı. |
| CRASHED | Target closed, Page crashed, bir DevTools protokol hatası, SessionNotCreatedError | Tarayıcı veya sürücü çalışmayı durdurdu: makineyi ve sürücüyü inceleyin. |
Kuralların tamamı nerede
Bu sayfa bir özettir. 15 hüküm nasıl belirlenir, kuralların tamamını motorun uyguladığı sırayla ve yöntemin sınırlarıyla birlikte sunar. Hükümler dizini, her hükmü kendi sayfasında açıklar.
Sık sorulan sorular
Çekinceli bir başarılı sonuç CI'da başarılı sayılır mı?
Evet. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION ve SECURITY_VIOLATION 0 çıkış kodu döndürür, dolayısıyla derlemeyi bozmazlar. Çekince raporda ve Geçmiş bölümünde görünür.
TIMEOUT, uygulamanın çalıştığı anlamına mı gelir?
Hayır. TIMEOUT, uygulamanın çalıştığının kanıtı değildir. Çalıştırmanın bunu belirleyemediğini ifade eder, bu yüzden uygulamada bir hata olarak raporlanmaz. Her çalıştırmada zaman aşımına uğrayan bir test incelenmelidir.
Erişilebilirlik veya güvenlik kontrolleri nihai sonucu değiştirebilir mi?
Yalnızca Ayarlar bölümünde bunları katı olarak ayarladığınızda. Bu durumda, başarılı bir testin nihai sonucunu sırasıyla SECURITY_VIOLATION, A11Y_VIOLATION veya PERFORMANCE_DEGRADED olarak değiştirebilirler. Başarısız bir testin sonuç düzeyi asla yükseltilmez.
Sınıflandırma ne kadar güvenilir?
Hata metnini okur, bu nedenle 403 veya Forbidden içeren özel bir doğrulama mesajı BLOCKED olarak yorumlanabilir. Özel mesajları açık ve belirgin tutun, nihai sonuç sizi şaşırttığında metadata.json dosyasını açın.
Kendi makinenizde çalıştırın.
Tüm özellikleri kendi makinelerinizde ücretsiz deneyin. Kart gerekmez.