Diagnostyczne werdykty testów: 15 wyników zamiast zaliczenia lub niepowodzenia.
Diagnostyczne werdykty testów zastępują zaliczenie lub niepowodzenie nazwanym wynikiem, który wskazuje przyczynę. Nexus StudioQA przypisuje każdemu uruchomieniu jeden z 15 werdyktów: zaliczenie bez zastrzeżeń, zaliczenie z zastrzeżeniem, błąd aplikacji, nieaktualny test lub problem ze środowiskiem, taki jak przekroczenie limitu czasu czy blokada antybotowa. Tylko niepowodzenie spowodowane przez aplikację oznacza zgłoszenie błędu.
Autorzy to zespół Nexus StudioQA, Verdict System LLC.
Ostatnia aktualizacja: .
15 werdyktów według grup
Te 15 werdyktów to SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED i CRASHED.
| Grupa | Werdykty | Kod wyjścia CI | Czy to zgłoszenie błędu? |
|---|---|---|---|
| Zaliczony | SECURE, CHAOS_RESILIENT | 0 | No |
| Zaliczono z zastrzeżeniem | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Nie, ale raport i Historia pokazują zastrzeżenie |
| Aplikacja przestała działać | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Tak |
| Test jest nieaktualny | TEST_DRIFT | 1 | Tak, po stronie testu: napraw wiersz |
| Winne jest środowisko | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Jak silnik wybiera werdykt
Trzy pytania, po kolei
Czy test w ogóle dał wynik? Jeśli został zaliczony, to czy bez zastrzeżeń? Jeśli zakończył się niepowodzeniem, co zawiniło: infrastruktura testowa, środowisko czy aplikacja?
Stała kolejność wzorców
W przypadku niepowodzenia silnik porównuje komunikat błędu i dziennik sieciowy z grupami wzorców w ustalonej kolejności. Decyduje pierwsza pasująca grupa, więc kolejność jest elementem projektu. Uwzględniono komunikaty zarówno Playwright, jak i Selenium WebDriver.
Nie wszystko otrzymuje werdykt
SKIPPED, INTERRUPTED i CONFIG_ERROR nie należą do tych 15 werdyktów, ponieważ żaden z nich nic nie mówi o Twojej aplikacji. Nie tworzą folderu dowodowego ani wpisu w Historii.
Jak nazywane są problemy ze środowiskiem
| Werdykt | Co zaobserwował silnik | Co oznacza |
|---|---|---|
| TIMEOUT | Timeout 30000ms exceeded z Playwright, Wait timed out after z Selenium, TimeoutError | Uruchomienie nie dało odpowiedzi na czas. Powolna strona nie jest dowodem na błąd aplikacji. |
| UNREACHABLE | Nazwa, której nie udało się rozwiązać, odrzucone połączenie lub komputer poza siecią, zanim zaobserwowano jakąkolwiek stronę | Nie udało się w ogóle połączyć z hostem. |
| BLOCKED | Kod 403 lub 429, CAPTCHA, strona z odmową dostępu lub weryfikacja antybotowa | Witryna się obroniła, a żądanie nigdy nie dotarło do Twojego produktu. |
| CRASHED | Target closed, Page crashed, błąd protokołu DevTools, SessionNotCreatedError | Przeglądarka lub sterownik przestały działać: sprawdź komputer i sterownik. |
Gdzie znaleźć pełne reguły
Ta strona to podsumowanie. Jak ustalanych jest 15 werdyktów przedstawia pełne reguły w kolejności ich stosowania przez silnik, wraz z ograniczeniami metody. Indeks werdyktów omawia każdy werdykt na osobnej stronie.
Częste pytania
Czy zaliczenie z zastrzeżeniem oznacza zaliczenie w CI?
Tak. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION i SECURITY_VIOLATION zwracają kod wyjścia 0, więc nie przerywają kompilacji. Zastrzeżenie jest widoczne w raporcie i w Historii.
Czy TIMEOUT oznacza, że aplikacja działa?
Nie. TIMEOUT nie jest dowodem na to, że aplikacja działa. Oznacza, że dane uruchomienie nie pozwala tego ustalić, więc nie jest zgłaszany jako błąd aplikacji. Testowi, który przy każdym uruchomieniu przekracza limit czasu, warto się przyjrzeć.
Czy kontrole dostępności lub bezpieczeństwa mogą zmienić wynik?
Tylko jeśli włączysz ich tryb rygorystyczny w Ustawieniach. Wtedy w przypadku zaliczonego testu mogą zmienić wynik na SECURITY_VIOLATION, A11Y_VIOLATION lub PERFORMANCE_DEGRADED, w tej kolejności. Wynik niezaliczonego testu nigdy nie jest zmieniany w ten sposób.
Na ile wiarygodna jest klasyfikacja?
Opiera się na treści błędu, więc własny komunikat asercji zawierający 403 lub Forbidden może zostać odczytany jako BLOCKED. Formułuj własne komunikaty precyzyjnie, a gdy wynik Cię zaskoczy, otwórz metadata.json.
Uruchom na własnym komputerze.
Wypróbuj bezpłatnie wszystkie funkcje na własnych maszynach. Bez podawania karty.