Twoje testy nadal korzystają z Playwright, Selenium i pytest. Nie zastępujemy ich. Przygotowujemy je do zastosowań korporacyjnych, a kod, materiały dowodowe i historia pozostają Twoją własnością.

Narzędzie do testów chaosu dla Twoich istniejących testów.

Chaos Lab w Nexus StudioQA wprowadza zakłócenie w przeglądarce podczas wykonywania jednego z Twoich testów: opóźnienie sieci, okres bez połączenia, spowolnienie procesora lub awarię zależności. Uruchomienie kończy się wynikiem CHAOS_RESILIENT, jeśli test przeszedł pomyślnie mimo zakłócenia, CHAOS_BREACHED, jeśli nie przeszedł, oraz CHAOS_NOT_INJECTED, gdy zakłócenie nie zadziałało, co nie mówi nic o odporności.

Autorzy to zespół Nexus StudioQA, Verdict System LLC.

Ostatnia aktualizacja: .

Tryby zakłóceń

TrybCo robiDomyślne
networkWstrzymuje każde żądanie na określony czas; około 20% żądań jest opóźnionych o dodatkowe kilkaset milisekund400 ms
offlineJednorazowo odcina sieć w losowym momencie pierwszych 30 sekund5000 ms
cpuSpowalnia procesor 4-krotnie; tylko Chromium4x, stałe
allZakłócenia sieci, spowolnienie procesora i brak połączenia jednocześniePowyższe wartości domyślne
dependencyDla jednego wskazanego adresu URL zwraca kod 429, 500, 503, spowolnioną odpowiedź, zawieszenie lub uciętą treśćUstawiane przez Ciebie

Utratę pakietów i presję na pamięć można dodać do dowolnego trybu. Tryb awarii zależności monitoruje też lawinę ponowień: ponad 10 żądań do adresu URL objętego awarią w ciągu 10 sekund. Zakłócenie uruchomisz poleceniem nexus patrol TC01 --chaos=network lub na ekranie Chaos Lab.

Jak oceniane jest uruchomienie testu chaosu

WerdyktZnaczenie
CHAOS_RESILIENTTest przeszedł pomyślnie przy aktywnym zakłóceniu
CHAOS_BREACHEDTest nie przeszedł przy aktywnym zakłóceniu
CHAOS_NOT_INJECTEDTest przeszedł pomyślnie, ale żadne zakłócenie nie zadziałało, na przykład cpu w Firefox. Nie jest to wynik i jest pomijany przy obliczaniu wszystkich wskaźników

Strona werdyktów zawiera pełne zasady. Uruchomienia testów chaosu są zapisywane w osobnym folderze z materiałem dowodowym, więc wywołane awarie nigdy nie obniżają oceny stabilności rzeczywistego zestawu testów.

Stan ustalony, nie tylko asercje

Test może przejść pomyślnie, a mimo to działać znacznie wolniej przy aktywnym zakłóceniu. Chaos Lab porównuje każde uruchomienie z medianą czasu trwania tego samego testu w tej samej przeglądarce bez zakłóceń. Uruchomienie trwające ponad 2 razy dłużej niż ta wartość bazowa jest oznaczane jako odbiegające od normy (tolerancję określa NEXUS_CHAOS_TOLERANCE). Zapisywane są też wskaźniki Web Vitals mierzone przy aktywnym zakłóceniu. Z czasem każdy test otrzymuje etykietę odporności: RESILIENT przy co najmniej 90%, TOLERANT od 70%, FRAGILE od 50%, VULNERABLE poniżej tego progu.

Awarie infrastruktury

nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> celowo wyłącza zarejestrowany kontener Docker lub aplikację uruchomioną przez Nexus i sprawdza, czy wraca ona do działania: RESILIENT, DEGRADED lub NOT_RECOVERED. Przed wykonaniem działania wymaga autoryzacji, a --restore cofa pozostawioną awarię.

Czego nie obejmuje

Testy API działają bez wprowadzania awarii. Testy Selenium w przeglądarce Firefox są pomijane w trybie chaosu, ponieważ przeszłyby bez wprowadzenia awarii. Nie można łączyć --chaos i --visual.

Częste pytania

  • Czy muszę przepisać testy, aby testować odporność na awarie?

    Nie. Awaria jest wprowadzana podczas wykonywania istniejących testów w Playwright lub w Pythonie z Selenium w Chromium. Najpierw uruchom każdy test raz bez awarii, aby kontrola stanu ustalonego miała punkt odniesienia.

  • Co oznacza CHAOS_NOT_INJECTED?

    Test przeszedł, ale awaria nie została faktycznie wprowadzona. Na przykład ograniczanie wydajności procesora działa tylko w Chromium. Taki wynik nie jest zaliczany ani jako odporność, ani jako naruszenie, więc nie może zawyżać ani zaniżać wskaźnika.

  • Czy testy chaosu mogą uszkodzić mój system produkcyjny?

    Awarie przeglądarki dotyczą testowanej strony, a nie Twoich serwerów. Awarie infrastruktury dotyczą zarejestrowanych przez Ciebie kontenerów, wymagają wcześniejszej autoryzacji i można je cofnąć przez przywrócenie stanu. Nie stosuj żadnego z tych mechanizmów w systemie, który nie należy do Ciebie.

  • Czy niepowodzenie testu chaosu liczy się jako błąd?

    To ustalenie dotyczące odporności, zapisywane oddzielnie od standardowego zestawu testów. Nie zmienia wskaźników stabilności właściwych testów.

Sprawdź, co się dzieje, gdy coś idzie nie tak.

Wszystko działa na Twoich własnych maszynach. Karta nie jest wymagana.