Mevcut testleriniz için bir kaos testi aracı.
Nexus StudioQA içindeki Chaos Lab, testlerinizden biri çalışırken tarayıcıda bir arıza oluşturur: ağ gecikmesi, çevrimdışı kalma süresi, yavaşlatılmış CPU veya arızalı bir bağımlılık. Test arızaya dayandıysa çalıştırma CHAOS_RESILIENT, dayanamadıysa CHAOS_BREACHED ile sonuçlanır. Arıza hiç devreye girmediyse CHAOS_NOT_INJECTED sonucu verilir; bu, dayanıklılık hakkında bir şey söylemez.
Nexus StudioQA ekibi tarafından, Verdict System LLC.
Son güncelleme: .
Arıza modları
| Mod | Ne yapar | Varsayılan |
|---|---|---|
| ağ | Her isteği belirli bir süre bekletir; yaklaşık %20'si birkaç yüz milisaniye daha bekletilir | 400 ms |
| çevrimdışı | İlk 30 saniye içinde rastgele bir anda ağı bir kez keser | 5000 ms |
| cpu | CPU'yu 4 kat yavaşlatır; yalnızca Chromium | 4x, sabit |
| tümü | Ağ, CPU ve çevrimdışı durum birlikte | Yukarıdaki varsayılanlar |
| bağımlılık | Belirttiğiniz bir URL'ye 429, 500, 503, yavaş yanıt, yanıtsız kalma veya kesilmiş gövdeyle karşılık verir | Siz belirlersiniz |
Paket kaybı ve bellek baskısı herhangi bir moda eklenebilir. Bağımlılık arızası ayrıca yeniden deneme fırtınasını da izler: arıza uygulanan URL'ye 10 saniye içinde 10'dan fazla istek gönderilmesi. Bir arızayı nexus patrol TC01 --chaos=network komutuyla veya Chaos Lab ekranından çalıştırabilirsiniz.
Kaos çalıştırması nasıl değerlendirilir
| Sonuç | Anlamı |
|---|---|
| CHAOS_RESILIENT | Test, arıza etkinken geçti |
| CHAOS_BREACHED | Test, arıza altında başarısız oldu |
| CHAOS_NOT_INJECTED | Test geçti, ancak hiçbir arıza devreye girmedi, örneğin Firefox'ta cpu. Bu bir sonuç sayılmaz ve hiçbir orana dahil edilmez |
Sonuç kararları sayfası tüm kuralları içerir. Kaos çalıştırmaları kendi kanıt klasörlerinde saklanır; böylece oluşturulan bir arıza, asıl test paketinin kararlılığını olumsuz etkilemez.
Yalnızca doğrulamalar değil, kararlı durum da
Bir test geçse bile arıza altında çok daha yavaş çalışabilir. Chaos Lab, her çalıştırmayı aynı testin aynı tarayıcıda arızasız çalıştırılma sürelerinin medyanıyla karşılaştırır. Bu referans sürenin 2 katından daha uzun süren çalıştırma, sapma olarak işaretlenir (tolerans NEXUS_CHAOS_TOLERANCE ile belirlenir). Arıza altında ölçülen Web Vitals değerlerini de kaydeder. Zamanla her teste bir dayanıklılık etiketi atanır: %90 ve üzerinde RESILIENT, %70'te TOLERANT, %50'de FRAGILE, bunun altında VULNERABLE.
Altyapı arızaları
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds>, kayıtlı bir Docker konteynerini veya Nexus'un başlattığı uygulamayı kasıtlı olarak devre dışı bırakır ve yeniden çalışıp çalışmadığını ölçer: RESILIENT, DEGRADED veya NOT_RECOVERED. İşlem öncesinde yetkilendirme gerekir ve --restore etkin bırakılmış bir arızayı geri alır.
Kapsam dışı kalanlar
API testleri kaos uygulanmadan çalışır. Firefox üzerindeki Selenium testleri, arıza uygulanmadan başarılı olacağı için kaos altında atlanır. --chaos ve --visual birlikte kullanılamaz.
Sık sorulan sorular
Kaos için testlerimi yeniden yazmam gerekir mi?
Hayır. Arıza, Playwright'ta veya Chromium üzerinde Python ve Selenium ile mevcut testlerinizin çalışması sırasında uygulanır. Kararlı durum kontrolünün bir referans noktası olması için önce her testi bir kez arıza olmadan çalıştırın.
CHAOS_NOT_INJECTED ne anlama gelir?
Test başarılı oldu, ancak arıza hiç etkili olmadı. Örneğin, CPU kısıtlaması yalnızca Chromium'da çalışır. Sonuç, dayanıklı veya ihlal edilmiş olarak sayılmaz; dolayısıyla herhangi bir oranı yükseltemez ya da düşüremez.
Kaos, üretim sistemimi bozabilir mi?
Tarayıcı arızaları sunucularınızı değil, test edilen sayfayı etkiler. Altyapı arızaları kaydettiğiniz konteynerleri etkiler, önce yetkilendirme ister ve geri yüklemeyle geri alınabilir. Hiçbirini size ait olmayan bir sisteme yöneltmeyin.
Kaos testindeki başarısızlık bir yazılım hatası sayılır mı?
Bu, dayanıklılıkla ilgili bir bulgudur ve normal test paketinden ayrı kaydedilir. Asıl testlerin kararlılık değerlerini değiştirmez.
İşler ters gittiğinde neler olduğunu öğrenin.
Her şey kendi makinelerinizde çalışır. Kart gerekmez.