Werdykty
Jakie jest 15 werdyktów i co robić dalej?
Każdy z 15 werdyktów wskazuje, kto powinien teraz działać: nikt, test, aplikacja, środowisko lub mechanizm testowy. Werdykt znajduje się w nazwie folderu: nazwa folderu TC92 kończy się na [BREACHED]. Klasyfikator analizuje niepowodzenie w ustalonej kolejności: najpierw mechanizm testowy, potem awarię, blokadę, nieosiągalny host i przekroczenie limitu czasu, a dopiero na końcu BREACHED_FLAKY lub BREACHED. Zatem BREACHED oznacza niepowodzenie, którego nie wyjaśnia żaden wzorzec problemów środowiskowych. Każda karta wskazuje, kto powinien teraz działać i co dokumentuje dany werdykt.
SECURENikt
Test przeszedł samodzielnie: bez ponownej próby i bez naprawy selektora. Nie wymaga działania. Zapis w evidence-passed-test, po 5 najnowszych dla każdego testu i przeglądarki.
screenshot.pngmetadata.json
CHAOS_RESILIENTNikt
Test przeszedł mimo wstrzykniętej usterki, więc aplikacja wytrzymała. Zapis w chaos-runs, oddzielnie od zgłoszeń błędów, dzięki czemu testy chaosu nigdy nie zniekształcają wskaźników stabilności.
screenshot.pngchaos-meta.jsonchaos-report.mdmetadata.jsonvideo.webm
AUTO_RECOVERTest
Na zielono, ale nie bez pomocy: mechanizm samonaprawy zastąpił niedziałający selektor. Lokalizator w teście nie działa, a następna zmiana DOM naprawdę zepsuje zestaw testów. Popraw lokalizator. raw-data.json pojawia się, gdy konieczna była ponowna próba, i zawiera dane nieudanej próby.
screenshot.pngmetadata.jsonraw-data.json
FLAKYTest lub aplikacja
Test nie przeszedł, ale ponowna próba zakończyła się powodzeniem i niczego nie naprawiono. To niewyjaśniona niestabilność aplikacji lub testu, a nie naprawa. Przeczytaj raw-data.json z nieudanej próby, a następnie sprawdź trend w Historii.
screenshot.pngmetadata.jsonraw-data.json
PERFORMANCE_DEGRADEDApp
Asercje przeszły, ale strona działała zbyt wolno: przekroczono budżet Web Vitals lub leniwego ładowania. Ma charakter informacyjny, dopóki nie włączysz rygorystycznego sprawdzania.
screenshot.pngmetadata.json
A11Y_VIOLATIONApp
Asercje przeszły, ale kontrola dostępności nie. metadata.json wymienia każdą naruszoną regułę axe-core wraz z jej wpływem i liczbą węzłów. Ma charakter informacyjny, dopóki nie włączysz rygorystycznego sprawdzania.
screenshot.pngmetadata.json
SECURITY_VIOLATIONApp
Asercje przeszły, ale kontrola nagłówków bezpieczeństwa nie (na przykład z powodu braku CSP). Popraw nagłówki odpowiedzi. Ma charakter informacyjny, dopóki nie włączysz rygorystycznego sprawdzania.
screenshot.pngmetadata.json
BREACHEDApp
Asercja nie przeszła i żaden wzorzec związany ze środowiskiem ani mechanizmem testowym nie wyjaśnia błędu. Przeczytaj Oczekiwane i Otrzymane w report.md, obejrzyj nagranie, a następnie oznacz jako Rzeczywisty błąd lub Fałszywy alarm, podając powód.
report.mdmetadata.jsonraw-data.jsonscreenshot.pngvideo.webmtrace.zip
BREACHED_FLAKYAplikacja lub test
Test nie przeszedł w ostatniej próbie po wcześniejszym ponowieniu: samo niepowodzenie jest nieregularne. Porównaj próby, zanim zgłosisz błąd. Nagranie jest domyślnie zachowywane.
report.mdmetadata.jsonraw-data.jsonscreenshot.pngvideo.webm
CHAOS_BREACHEDApp
Test nie przeszedł przy wstrzykniętej usterce. To ustalenie dotyczące odporności, przechowywane oddzielnie od zgłoszeń błędów funkcjonalnych; raport opisuje zastosowaną usterkę i jej wpływ na użytkownika. Zasady przechowywania nigdy nie usuwają przebiegu zakończonego niepowodzeniem. Nagranie jest domyślnie zachowywane.
screenshot.pngvideo.webmchaos-meta.jsonchaos-report.mdmetadata.json
TEST_DRIFTTest
Krok wykonujący działanie na stronie oczekiwał na znalezienie elementu przez lokalizator, ale niczego nie znalazł, mimo że strona się załadowała. To test stał się nieaktualny, a nie aplikacja: przebieg testu nadal kończy się niepowodzeniem, a funkcja Napraw w czerwonym wierszu proponuje nowy lokalizator. Asercja nigdy nie oznacza TEST_DRIFT.
report.mdmetadata.jsonraw-data.jsonscreenshot.pngvideo.webm
TIMEOUTŚrodowisko
Brak odpowiedzi w wyznaczonym czasie nie dowodzi, że aplikacja nie działa. Zanim zmienisz ustawienia, sprawdź szybkość strony w Telemetrii: dłuższy limit nie ukrywa niedziałającego elementu, tylko opóźnia niepowodzenie. Nagrywanie jest domyślnie wyłączone; włącz je w Ustawieniach, w sekcji Zachowuj nagranie niepowodzenia dla.
report.mdmetadata.jsonraw-data.jsonscreenshot.pngvideo.webm
UNREACHABLEŚrodowisko
Nie udało się w ogóle połączyć z hostem: wystąpił błąd DNS lub połączenia, zanim zaobserwowano jakąkolwiek stronę. Sprawdź adres URL, sieć i dostępność celu. To nie jest ustalenie dotyczące aplikacji. Żadna strona się nie załadowała, więc nagranie byłoby puste i nie jest udostępniane.
report.mdmetadata.jsonraw-data.jsonscreenshot.pngvideo.webm
BLOCKEDŚrodowisko
Witryna się obroniła: kod 403, 429, strona blokady lub weryfikacja antybotowa. metadata.json podaje rodzaj zabezpieczenia, jeśli było widoczne na ekranie. To nie jest ustalenie dotyczące aplikacji, a Jira nigdy nie zgłasza blokady. Nagrywanie jest domyślnie wyłączone; włącz je w Ustawieniach, w sekcji Zachowuj nagranie niepowodzenia dla.
report.mdmetadata.jsonraw-data.jsonscreenshot.pngvideo.webm
CRASHEDMechanizm testowy
Przeglądarka lub proces przestały działać: zamknięta strona, błąd protokołu DevTools, nieaktywna sesja WebDriver. To infrastruktura, nie aplikacja. Sprawdź maszynę i sterownik. Nagranie niedziałającej przeglądarki jest uszkodzone, więc nie jest udostępniane.
report.mdmetadata.jsonraw-data.jsonscreenshot.pngvideo.webm
Poza listą 15 werdyktów: CONFIG_ERROR (mechanizm testowy nie mógł uruchomić testu: błędny import, brakująca wartość .env), SKIPPED i INTERRUPTED. Żaden z nich nie jest wynikiem dotyczącym aplikacji, więc żaden nie tworzy folderu z dowodami ani wiersza w Historii. CONFIG_ERROR jest mimo to zapisywany w całości, ze wskazówką, w dzienniku w .run-cache/config-errors/, aby można było naprawić niedziałający test. Testy API mają siedem własnych werdyktów: Testy API.