Twoje testy nadal korzystają z Playwright, Selenium i pytest. Nie zastępujemy ich. Przygotowujemy je do zastosowań korporacyjnych, a kod, materiały dowodowe i historia pozostają Twoją własnością.

Wykrywanie niestabilnych testów bez ukrywania ponowień.

Wykrywanie niestabilnych testów pozwala odróżnić test o rozbieżnych wynikach prób od rzeczywistego błędu. Nexus StudioQA rejestruje każde ponowienie przebiegów Playwright i Selenium: niepowodzenie, po którym ponowienie się powiedzie, otrzymuje status FLAKY, niepowodzenie przy pojedynczej próbie to BREACHED, a niepowodzenie, które samo jest niestabilne, to BREACHED_FLAKY. Ponowienie nigdy nie zmienia defektu w zielony przebieg.

Autorzy to zespół Nexus StudioQA, Verdict System LLC.

Ostatnia aktualizacja: .

Trzy werdykty, jedna zasada

FLAKY oznacza wyłącznie rozbieżność wyników prób. Niepowodzenie przy pojedynczej próbie, bez ponowień, nigdy nie jest oznaczane jako niestabilne.

WerdyktPróbyOstatnia próbaKod wyjścia CINagranie niepowodzenia
FLAKYNiepowodzenie, potem ponowienieZaliczony0No
BREACHEDJednaNiepowodzenie1Domyślnie przechowywane
BREACHED_FLAKYNiepowodzenie, potem ponowienieNiepowodzenie1Domyślnie przechowywane

Jak zliczane są ponowienia

  • Decyduje numer próby

    Test zakończony powodzeniem z numerem ponowienia większym od zera otrzymuje status FLAKY, chyba że naprawiono selektor, wówczas otrzymuje AUTO_RECOVER. Pełne powodzenie wymaga numeru ponowienia równego zero i braku naprawionych selektorów.

  • Najpierw środowisko

    Zanim niepowodzenie otrzyma status BREACHED lub BREACHED_FLAKY, silnik wyklucza błąd infrastruktury testowej, awarię, blokadę, nieosiągalny host i przekroczenie limitu czasu. Przekroczenie limitu czasu ani CAPTCHA nie trafiają do zgłoszeń błędów.

  • Powolna pierwsza próba nie oznacza niestabilności

    Gdy pierwsza próba nie powiodła się wyłącznie z powodu przekroczenia czasu, zamkniętej przeglądarki lub oczekiwania na widoczność, a ponowienie się powiodło, werdykt to SECURE: wskazuje to na opóźnienie, nie niestabilność.

  • Liczba prób pozostaje przy przebiegu

    Każdy wiersz Historii zapisuje retry_attempt i attempts. Plik raw-data.json nieudanej próby zostaje zachowany, więc nawet jeśli ponowienie ukryło niepowodzenie, jego dziennik pozostaje.

Wykrywanie testu o zmiennych wynikach

  • Trendy w historii

    Historia przechowuje jeden wiersz na przebieg dla każdej pary testu i przeglądarki lub urządzenia. Pokazuje trendy według sesji, dnia lub tygodnia: Pogorszenie, Przywrócenie sprawności, Nadal niesprawne i Wolniej.

  • Ranking ryzyka

    Ranking szereguje testy według tego, jak często zmieniają wynik, zawodzą lub pochłaniają czas. Przewidywane ryzyko oblicza regresja logistyczna na podstawie Twojej historii, a przy niewielkiej ilości danych stosowana jest metoda EWMA.

  • Poniżej pięciu przebiegów nic nie jest uznawane za niestabilne

    Przy mniej niż pięciu uruchomieniach Historia i ranking ryzyka nie uznają żadnego testu za niestabilny, ponieważ jedno lub dwa uruchomienia nie wystarczą, by wykazać prawidłowość.

Częste pytania

  • Czy ponowienia ukrywają rzeczywiste błędy?

    Mogą, gdy jedynymi stanami są powodzenie i niepowodzenie, ponieważ udana ponowna próba zmienia czerwony wynik na zielony. Nexus StudioQA pozostawia ponowną próbę widoczną: test, który najpierw się nie powiódł, a potem zakończył powodzeniem, otrzymuje status FLAKY, a nie SECURE, i jest widoczny w raporcie oraz w Historii.

  • Czy test FLAKY przerywa kompilację?

    Nie. FLAKY zwraca kod wyjścia 0 w CI, nie tworzy zgłoszenia w Jira i nie zachowuje nagrania, ale pozostaje widoczny jako wynik pozytywny z zastrzeżeniem.

  • Dlaczego testy Playwright są niestabilne?

    Typowe przyczyny: współdzielone lub pozostawione dane, oczekiwanie na niewłaściwy warunek, niestabilny lokalizator, środowisko lub rzeczywisty błąd występujący sporadycznie. Ponowna próba pozwala wykryć niestabilny test, ale go nie naprawia.

  • Czy FLAKY wyjaśnia, dlaczego test jest niestabilny?

    Nie. Informuje, że próby dały różne wyniki. Znalezienie przyczyny w aplikacji lub w teście nadal wymaga pracy człowieka. Przy wyłączonych ponownych próbach sporadyczne niepowodzenie otrzymuje status BREACHED.

Uruchom na własnym komputerze.

Wypróbuj bezpłatnie wszystkie funkcje na własnych maszynach. Bez podawania karty.