Wykrywanie niestabilnych testów bez ukrywania ponowień.
Wykrywanie niestabilnych testów pozwala odróżnić test o rozbieżnych wynikach prób od rzeczywistego błędu. Nexus StudioQA rejestruje każde ponowienie przebiegów Playwright i Selenium: niepowodzenie, po którym ponowienie się powiedzie, otrzymuje status FLAKY, niepowodzenie przy pojedynczej próbie to BREACHED, a niepowodzenie, które samo jest niestabilne, to BREACHED_FLAKY. Ponowienie nigdy nie zmienia defektu w zielony przebieg.
Autorzy to zespół Nexus StudioQA, Verdict System LLC.
Ostatnia aktualizacja: .
Trzy werdykty, jedna zasada
FLAKY oznacza wyłącznie rozbieżność wyników prób. Niepowodzenie przy pojedynczej próbie, bez ponowień, nigdy nie jest oznaczane jako niestabilne.
| Werdykt | Próby | Ostatnia próba | Kod wyjścia CI | Nagranie niepowodzenia |
|---|---|---|---|---|
| FLAKY | Niepowodzenie, potem ponowienie | Zaliczony | 0 | No |
| BREACHED | Jedna | Niepowodzenie | 1 | Domyślnie przechowywane |
| BREACHED_FLAKY | Niepowodzenie, potem ponowienie | Niepowodzenie | 1 | Domyślnie przechowywane |
Jak zliczane są ponowienia
Decyduje numer próby
Test zakończony powodzeniem z numerem ponowienia większym od zera otrzymuje status FLAKY, chyba że naprawiono selektor, wówczas otrzymuje AUTO_RECOVER. Pełne powodzenie wymaga numeru ponowienia równego zero i braku naprawionych selektorów.
Najpierw środowisko
Zanim niepowodzenie otrzyma status BREACHED lub BREACHED_FLAKY, silnik wyklucza błąd infrastruktury testowej, awarię, blokadę, nieosiągalny host i przekroczenie limitu czasu. Przekroczenie limitu czasu ani CAPTCHA nie trafiają do zgłoszeń błędów.
Powolna pierwsza próba nie oznacza niestabilności
Gdy pierwsza próba nie powiodła się wyłącznie z powodu przekroczenia czasu, zamkniętej przeglądarki lub oczekiwania na widoczność, a ponowienie się powiodło, werdykt to SECURE: wskazuje to na opóźnienie, nie niestabilność.
Liczba prób pozostaje przy przebiegu
Każdy wiersz Historii zapisuje retry_attempt i attempts. Plik raw-data.json nieudanej próby zostaje zachowany, więc nawet jeśli ponowienie ukryło niepowodzenie, jego dziennik pozostaje.
Wykrywanie testu o zmiennych wynikach
Trendy w historii
Historia przechowuje jeden wiersz na przebieg dla każdej pary testu i przeglądarki lub urządzenia. Pokazuje trendy według sesji, dnia lub tygodnia: Pogorszenie, Przywrócenie sprawności, Nadal niesprawne i Wolniej.
Ranking ryzyka
Ranking szereguje testy według tego, jak często zmieniają wynik, zawodzą lub pochłaniają czas. Przewidywane ryzyko oblicza regresja logistyczna na podstawie Twojej historii, a przy niewielkiej ilości danych stosowana jest metoda EWMA.
Poniżej pięciu przebiegów nic nie jest uznawane za niestabilne
Przy mniej niż pięciu uruchomieniach Historia i ranking ryzyka nie uznają żadnego testu za niestabilny, ponieważ jedno lub dwa uruchomienia nie wystarczą, by wykazać prawidłowość.
Częste pytania
Czy ponowienia ukrywają rzeczywiste błędy?
Mogą, gdy jedynymi stanami są powodzenie i niepowodzenie, ponieważ udana ponowna próba zmienia czerwony wynik na zielony. Nexus StudioQA pozostawia ponowną próbę widoczną: test, który najpierw się nie powiódł, a potem zakończył powodzeniem, otrzymuje status FLAKY, a nie SECURE, i jest widoczny w raporcie oraz w Historii.
Czy test FLAKY przerywa kompilację?
Nie. FLAKY zwraca kod wyjścia 0 w CI, nie tworzy zgłoszenia w Jira i nie zachowuje nagrania, ale pozostaje widoczny jako wynik pozytywny z zastrzeżeniem.
Dlaczego testy Playwright są niestabilne?
Typowe przyczyny: współdzielone lub pozostawione dane, oczekiwanie na niewłaściwy warunek, niestabilny lokalizator, środowisko lub rzeczywisty błąd występujący sporadycznie. Ponowna próba pozwala wykryć niestabilny test, ale go nie naprawia.
Czy FLAKY wyjaśnia, dlaczego test jest niestabilny?
Nie. Informuje, że próby dały różne wyniki. Znalezienie przyczyny w aplikacji lub w teście nadal wymaga pracy człowieka. Przy wyłączonych ponownych próbach sporadyczne niepowodzenie otrzymuje status BREACHED.
Uruchom na własnym komputerze.
Wypróbuj bezpłatnie wszystkie funkcje na własnych maszynach. Bez podawania karty.