Twoje testy nadal korzystają z Playwright, Selenium i pytest. Nie zastępujemy ich. Przygotowujemy je do zastosowań korporacyjnych, a kod, materiały dowodowe i historia pozostają Twoją własnością.

Diagnostyczne werdykty testów: 15 wyników zamiast zaliczenia lub niepowodzenia.

Diagnostyczne werdykty testów zastępują zaliczenie lub niepowodzenie nazwanym wynikiem, który wskazuje przyczynę. Nexus StudioQA przypisuje każdemu uruchomieniu jeden z 15 werdyktów: zaliczenie bez zastrzeżeń, zaliczenie z zastrzeżeniem, błąd aplikacji, nieaktualny test lub problem ze środowiskiem, taki jak przekroczenie limitu czasu czy blokada antybotowa. Tylko niepowodzenie spowodowane przez aplikację oznacza zgłoszenie błędu.

Autorzy to zespół Nexus StudioQA, Verdict System LLC.

Ostatnia aktualizacja: .

15 werdyktów według grup

Te 15 werdyktów to SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED i CRASHED.

GrupaWerdyktyKod wyjścia CICzy to zgłoszenie błędu?
ZaliczonySECURE, CHAOS_RESILIENT0No
Zaliczono z zastrzeżeniemAUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0Nie, ale raport i Historia pokazują zastrzeżenie
Aplikacja przestała działaćBREACHED, BREACHED_FLAKY, CHAOS_BREACHED1Tak
Test jest nieaktualnyTEST_DRIFT1Tak, po stronie testu: napraw wiersz
Winne jest środowiskoTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

Jak silnik wybiera werdykt

  • Trzy pytania, po kolei

    Czy test w ogóle dał wynik? Jeśli został zaliczony, to czy bez zastrzeżeń? Jeśli zakończył się niepowodzeniem, co zawiniło: infrastruktura testowa, środowisko czy aplikacja?

  • Stała kolejność wzorców

    W przypadku niepowodzenia silnik porównuje komunikat błędu i dziennik sieciowy z grupami wzorców w ustalonej kolejności. Decyduje pierwsza pasująca grupa, więc kolejność jest elementem projektu. Uwzględniono komunikaty zarówno Playwright, jak i Selenium WebDriver.

  • Nie wszystko otrzymuje werdykt

    SKIPPED, INTERRUPTED i CONFIG_ERROR nie należą do tych 15 werdyktów, ponieważ żaden z nich nic nie mówi o Twojej aplikacji. Nie tworzą folderu dowodowego ani wpisu w Historii.

Jak nazywane są problemy ze środowiskiem

WerdyktCo zaobserwował silnikCo oznacza
TIMEOUTTimeout 30000ms exceeded z Playwright, Wait timed out after z Selenium, TimeoutErrorUruchomienie nie dało odpowiedzi na czas. Powolna strona nie jest dowodem na błąd aplikacji.
UNREACHABLENazwa, której nie udało się rozwiązać, odrzucone połączenie lub komputer poza siecią, zanim zaobserwowano jakąkolwiek stronęNie udało się w ogóle połączyć z hostem.
BLOCKEDKod 403 lub 429, CAPTCHA, strona z odmową dostępu lub weryfikacja antybotowaWitryna się obroniła, a żądanie nigdy nie dotarło do Twojego produktu.
CRASHEDTarget closed, Page crashed, błąd protokołu DevTools, SessionNotCreatedErrorPrzeglądarka lub sterownik przestały działać: sprawdź komputer i sterownik.

Gdzie znaleźć pełne reguły

Ta strona to podsumowanie. Jak ustalanych jest 15 werdyktów przedstawia pełne reguły w kolejności ich stosowania przez silnik, wraz z ograniczeniami metody. Indeks werdyktów omawia każdy werdykt na osobnej stronie.

Częste pytania

  • Czy zaliczenie z zastrzeżeniem oznacza zaliczenie w CI?

    Tak. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION i SECURITY_VIOLATION zwracają kod wyjścia 0, więc nie przerywają kompilacji. Zastrzeżenie jest widoczne w raporcie i w Historii.

  • Czy TIMEOUT oznacza, że aplikacja działa?

    Nie. TIMEOUT nie jest dowodem na to, że aplikacja działa. Oznacza, że dane uruchomienie nie pozwala tego ustalić, więc nie jest zgłaszany jako błąd aplikacji. Testowi, który przy każdym uruchomieniu przekracza limit czasu, warto się przyjrzeć.

  • Czy kontrole dostępności lub bezpieczeństwa mogą zmienić wynik?

    Tylko jeśli włączysz ich tryb rygorystyczny w Ustawieniach. Wtedy w przypadku zaliczonego testu mogą zmienić wynik na SECURITY_VIOLATION, A11Y_VIOLATION lub PERFORMANCE_DEGRADED, w tej kolejności. Wynik niezaliczonego testu nigdy nie jest zmieniany w ten sposób.

  • Na ile wiarygodna jest klasyfikacja?

    Opiera się na treści błędu, więc własny komunikat asercji zawierający 403 lub Forbidden może zostać odczytany jako BLOCKED. Formułuj własne komunikaty precyzyjnie, a gdy wynik Cię zaskoczy, otwórz metadata.json.

Uruchom na własnym komputerze.

Wypróbuj bezpłatnie wszystkie funkcje na własnych maszynach. Bez podawania karty.