Testy regresji wizualnej w Nexus StudioQA.
Testy regresji wizualnej w Nexus StudioQA porównują zrzut ekranu z każdego uruchomienia z zatwierdzonym obrazem wzorcowym. Pierwsze uruchomienie z --visual tworzy wzorzec. Kolejne uruchomienia zliczają zmienione piksele, ignorują wygładzone krawędzie i zapisują obraz różnic, gdy zmiana przekroczy próg tolerancji. Domyślnie regresja jest rejestrowana, ale nie powoduje niezaliczenia testu.
Autorzy to zespół Nexus StudioQA, Verdict System LLC.
Ostatnia aktualizacja: .
Co jest porównywane przy każdym uruchomieniu
Dwa rodzaje punktów kontrolnych, każdy z własną tolerancją: dopuszczalnym odsetkiem różniących się pikseli, po którego przekroczeniu zmiana jest uznawana za regresję.
| Punkt kontrolny | Co obejmuje zrzut ekranu | Domyślna tolerancja |
|---|---|---|
| Cała strona | Zrzut widocznego obszaru strony wykonany na końcu testu, zapisany pod nazwą baseline. | 1.0% pikseli (NEXUS_VISUAL_THRESHOLD) |
| Element | Jeden element, wskazany w teście za pomocą visualCheck(page, 'cart-total', page.locator('#cart-total')). | 0.1% pikseli (NEXUS_VISUAL_ELEMENT_THRESHOLD) |
Jak wykrywana jest zmiana
Wzorce są przechowywane osobno dla każdej przeglądarki i platformy
Znajdują się w
visual-baselines/<browser>@<platform>/w folderze projektu, więc można je wersjonować razem z kodem. Obraz z systemu Windows nigdy nie jest porównywany z obrazem z systemu Linux, ponieważ różnią się czcionkami i wygładzaniem krawędzi. Dla przeglądarki i platformy bez wzorca tworzony jest osobny wzorzec.Wygładzone krawędzie nie są zliczane
Piksel, który zmienił się wyłącznie wskutek ponownego wygładzenia krawędzi, jest oznaczany na obrazie różnic kolorem bursztynowym i pomijany w zliczaniu. Piksel jest uznawany za zmieniony, gdy wartość kanału koloru różni się o co najmniej 10, a NEXUS_VISUAL_PIXEL_TOLERANCE pozwala zmienić ten próg w zakresie od 0 do 255.
Zrzuty są powtarzane do uzyskania stabilnego obrazu
Zrzut jest powtarzany, aż dwa kolejne będą identyczne bajt po bajcie, przy czym wykonywane są najwyżej trzy zrzuty. Strona, której obraz się nie stabilizuje, jest zgłaszana jako niestabilna, zamiast zostać niezauważenie przyjęta jako wzorzec.
Obrazy o różnych rozmiarach nie są rozciągane
Oba obrazy są porównywane w oryginalnych rozmiarach na wspólnym obszarze, z wyrównaniem do lewego górnego rogu. Obszar, który się nie pokrywa, jest uznawany za różnicę.
Niewykonana kontrola oznacza niezaliczenie
Jeśli porównania nie można wykonać, na przykład z powodu braku obrazu lub niezainstalowanej natywnej biblioteki obrazów, test kończy się niepowodzeniem niezależnie od ustawienia trybu ścisłego. Sprawdzenie, które się nie odbyło, nie jest zgłaszane jako pomyślne.
Najważniejsze ustawienia
Wszystkie znajdują się na ekranie regresji wizualnej w Studio, a ich wartości domyślne podano poniżej.
| Ustawienie | Domyślne | Co robi |
|---|---|---|
| Porównuj piksele przy każdym uruchomieniu | Wyłączone | Włącza porównywanie przy każdym uruchomieniu. --visual włącza je dla jednego uruchomienia. |
| Regresja powoduje niepowodzenie testu | Wyłączone | Przy ustawieniu NEXUS_VISUAL_STRICT=true zmiany pikseli przekraczające tolerancję powodują niepowodzenie testu. Gdy jest wyłączone, regresja jest zapisywana, a wynik testu pozostaje bez zmian. |
| Maskowane na każdym zdjęciu | Brak | Selektory CSS elementów zamalowywanych na każdym zdjęciu, takich jak zegar lub reklama (NEXUS_VISUAL_MASK). |
| Zachowywane foldery regresji | 10 | Najnowsze foldery zachowywane dla każdego testu i punktu kontrolnego (NEXUS_VISUAL_REGRESSION_RETAIN). |
Co przeglądasz i zatwierdzasz
Każda regresja jest zapisywana w visual-regression wraz z własnymi plikami, a Studio wyświetla je w czterech widokach: Obok siebie, Suwak, Różnice i Miganie, obok wcześniejszych uruchomień tego samego punktu kontrolnego.
| Plik | Co to jest |
|---|---|
baseline.png | Zatwierdzony obraz. |
current.png | Obraz z bieżącego uruchomienia. |
diff.png | Czerwony oznacza zmienione piksele, bursztynowy — pominięte wygładzanie krawędzi, szary — brak zmian. |
visual-report.md | Dane liczbowe w zwykłym tekście. |
result.json | Ten sam wynik w postaci danych. |
Czego się z tego nie dowiesz
Na podstawie pikseli nie da się odróżnić planowanej zmiany wyglądu od błędu, dlatego każdą zmianę zatwierdza człowiek: Zatwierdź tę zmianę w Studio zastępuje obraz jednego punktu kontrolnego, a nexus baseline --update <TC_ID> robi to samo z wiersza poleceń. Wszystko, co zmienia się samo, na przykład zegar, reklama lub awatar, trzeba zamaskować, inaczej porównanie będzie stale sygnalizować różnice na czerwono.
Częste pytania
Czy regresja wizualna powoduje niepowodzenie mojego testu?
Domyślnie nie. Regresja jest zapisywana, a wynik testu pozostaje bez zmian. Włącz
NEXUS_VISUAL_STRICT, a regresja przekraczająca tolerancję spowoduje niepowodzenie testu.Dlaczego każdy system operacyjny ma osobny obraz wzorcowy?
Ta sama strona jest renderowana z nieco innymi czcionkami, wygładzaniem krawędzi i paskami przewijania w systemach Windows, Linux i macOS. Porównywanie obrazów między systemami zgłasza jako zmianę różnicę wynikającą wyłącznie z renderowania, dlatego każda przeglądarka i platforma ma własny obraz wzorcowy.
Jak zapobiec niepowodzeniu sprawdzenia z powodu zegara lub reklamy?
Zamaskuj ten element za pomocą selektora CSS w ustawieniach wizualnych albo użyj punktu kontrolnego elementu dla interesującej Cię części strony. Tolerancja dla punktu kontrolnego elementu wynosi jedną dziesiątą tolerancji dla całej strony, więc sprawdzenie jest rygorystyczne, ale ruchoma reklama nie powoduje sygnalizowania różnic na czerwono.
Gdzie są przechowywane obrazy wzorcowe?
W
visual-baselinesw folderze projektu, a nie w folderze dowodów, dzięki czemu można je zapisywać w repozytorium razem z kodem. Obrazy różnic regresji są wynikiem uruchomienia i znajdują się wvisual-regressionw folderze dowodów.
Uruchom na własnym komputerze.
Wypróbuj bezpłatnie wszystkie funkcje na własnych maszynach. Bez podawania karty.