Narzędzie do testów chaosu dla Twoich istniejących testów.
Chaos Lab w Nexus StudioQA wprowadza zakłócenie w przeglądarce podczas wykonywania jednego z Twoich testów: opóźnienie sieci, okres bez połączenia, spowolnienie procesora lub awarię zależności. Uruchomienie kończy się wynikiem CHAOS_RESILIENT, jeśli test przeszedł pomyślnie mimo zakłócenia, CHAOS_BREACHED, jeśli nie przeszedł, oraz CHAOS_NOT_INJECTED, gdy zakłócenie nie zadziałało, co nie mówi nic o odporności.
Autorzy to zespół Nexus StudioQA, Verdict System LLC.
Ostatnia aktualizacja: .
Tryby zakłóceń
| Tryb | Co robi | Domyślne |
|---|---|---|
| network | Wstrzymuje każde żądanie na określony czas; około 20% żądań jest opóźnionych o dodatkowe kilkaset milisekund | 400 ms |
| offline | Jednorazowo odcina sieć w losowym momencie pierwszych 30 sekund | 5000 ms |
| cpu | Spowalnia procesor 4-krotnie; tylko Chromium | 4x, stałe |
| all | Zakłócenia sieci, spowolnienie procesora i brak połączenia jednocześnie | Powyższe wartości domyślne |
| dependency | Dla jednego wskazanego adresu URL zwraca kod 429, 500, 503, spowolnioną odpowiedź, zawieszenie lub uciętą treść | Ustawiane przez Ciebie |
Utratę pakietów i presję na pamięć można dodać do dowolnego trybu. Tryb awarii zależności monitoruje też lawinę ponowień: ponad 10 żądań do adresu URL objętego awarią w ciągu 10 sekund. Zakłócenie uruchomisz poleceniem nexus patrol TC01 --chaos=network lub na ekranie Chaos Lab.
Jak oceniane jest uruchomienie testu chaosu
| Werdykt | Znaczenie |
|---|---|
| CHAOS_RESILIENT | Test przeszedł pomyślnie przy aktywnym zakłóceniu |
| CHAOS_BREACHED | Test nie przeszedł przy aktywnym zakłóceniu |
| CHAOS_NOT_INJECTED | Test przeszedł pomyślnie, ale żadne zakłócenie nie zadziałało, na przykład cpu w Firefox. Nie jest to wynik i jest pomijany przy obliczaniu wszystkich wskaźników |
Strona werdyktów zawiera pełne zasady. Uruchomienia testów chaosu są zapisywane w osobnym folderze z materiałem dowodowym, więc wywołane awarie nigdy nie obniżają oceny stabilności rzeczywistego zestawu testów.
Stan ustalony, nie tylko asercje
Test może przejść pomyślnie, a mimo to działać znacznie wolniej przy aktywnym zakłóceniu. Chaos Lab porównuje każde uruchomienie z medianą czasu trwania tego samego testu w tej samej przeglądarce bez zakłóceń. Uruchomienie trwające ponad 2 razy dłużej niż ta wartość bazowa jest oznaczane jako odbiegające od normy (tolerancję określa NEXUS_CHAOS_TOLERANCE). Zapisywane są też wskaźniki Web Vitals mierzone przy aktywnym zakłóceniu. Z czasem każdy test otrzymuje etykietę odporności: RESILIENT przy co najmniej 90%, TOLERANT od 70%, FRAGILE od 50%, VULNERABLE poniżej tego progu.
Awarie infrastruktury
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> celowo wyłącza zarejestrowany kontener Docker lub aplikację uruchomioną przez Nexus i sprawdza, czy wraca ona do działania: RESILIENT, DEGRADED lub NOT_RECOVERED. Przed wykonaniem działania wymaga autoryzacji, a --restore cofa pozostawioną awarię.
Czego nie obejmuje
Testy API działają bez wprowadzania awarii. Testy Selenium w przeglądarce Firefox są pomijane w trybie chaosu, ponieważ przeszłyby bez wprowadzenia awarii. Nie można łączyć --chaos i --visual.
Częste pytania
Czy muszę przepisać testy, aby testować odporność na awarie?
Nie. Awaria jest wprowadzana podczas wykonywania istniejących testów w Playwright lub w Pythonie z Selenium w Chromium. Najpierw uruchom każdy test raz bez awarii, aby kontrola stanu ustalonego miała punkt odniesienia.
Co oznacza CHAOS_NOT_INJECTED?
Test przeszedł, ale awaria nie została faktycznie wprowadzona. Na przykład ograniczanie wydajności procesora działa tylko w Chromium. Taki wynik nie jest zaliczany ani jako odporność, ani jako naruszenie, więc nie może zawyżać ani zaniżać wskaźnika.
Czy testy chaosu mogą uszkodzić mój system produkcyjny?
Awarie przeglądarki dotyczą testowanej strony, a nie Twoich serwerów. Awarie infrastruktury dotyczą zarejestrowanych przez Ciebie kontenerów, wymagają wcześniejszej autoryzacji i można je cofnąć przez przywrócenie stanu. Nie stosuj żadnego z tych mechanizmów w systemie, który nie należy do Ciebie.
Czy niepowodzenie testu chaosu liczy się jako błąd?
To ustalenie dotyczące odporności, zapisywane oddzielnie od standardowego zestawu testów. Nie zmienia wskaźników stabilności właściwych testów.
Sprawdź, co się dzieje, gdy coś idzie nie tak.
Wszystko działa na Twoich własnych maszynach. Karta nie jest wymagana.