Testy obciążeniowe i Web Vitals względem limitów.
Nexus StudioQA uruchamia scenariusz obciążeniowy z pliku JSON lub ekranu Obciążenie i ocenia go względem limitów określonych przed uruchomieniem. Każde uruchomienie kończy się statusem PASS, OVER_BUDGET, REGRESSED lub UNMEASURED. W testach przeglądarkowych limity LCP, CLS i INP mogą zmienić status testu zakończonego powodzeniem na PERFORMANCE_DEGRADED, gdy włączony jest tryb ścisły.
Autorzy to zespół Nexus StudioQA, Verdict System LLC.
Ostatnia aktualizacja: .
Cztery werdykty testów obciążeniowych
| Werdykt | Kiedy |
|---|---|
| PASS | Można było sprawdzić co najmniej jedno kryterium i wszystkie zostały spełnione |
| OVER_BUDGET | Nie spełniono kryterium lub model otwarty nie zdołał rozpocząć ponad 1% żądanych iteracji |
| REGRESSED | W granicach limitów, ale p95 przekracza 1.25-krotność mediany p95 z ostatnich udanych uruchomień i jest od niej wyższy o co najmniej 25 ms |
| UNMEASURED | Nie można było niczego sprawdzić: brak kryteriów, mniej niż 5 prób, mniej niż 5 prawidłowych próbek dla p95 lub limit Web Vitals, którego sonda nie mogła zmierzyć |
Punktem odniesienia dla REGRESSED jest ten sam scenariusz, cel, model i liczba użytkowników z ostatnich 5 udanych uruchomień, przy czym wymagane są co najmniej 3. Całkowicie niedostępny cel otrzymuje status OVER_BUDGET, a nie UNMEASURED, ponieważ odsetek błędów jest oceniany na podstawie prób. Przy włączonym strict statusy OVER_BUDGET i REGRESSED kończą proces kodem wyjścia 1, co pozwala zatrzymać potok.
Co robi uruchomienie testu obciążeniowego
Scenariusz określa cel, kroki wraz z asercjami, czas namysłu oraz model zamknięty (od 1 do 5000 użytkowników) albo otwarty (częstotliwość żądań). Wirtualni użytkownicy wysyłają żądania HTTP z wątków roboczych, a raport podaje percentyle, przepustowość i odsetek błędów, nigdy samą średnią. Najpierw działają dwa zabezpieczenia: zanim cokolwiek zostanie wysłane, wpisujesz AUTHORIZED, a cel inny niż ten komputer wymaga także --yes. Wyniki trafiają do evidence/load-runs.
Web Vitals
Z opcją --vitals sonda w Playwright Chromium wczytuje strony przed obciążeniem, w jego trakcie i po nim oraz sprawdza limity p75 dla LCP, FCP, CLS, TBT i TTFB. INP nie jest tam obsługiwany, ponieważ sonda nigdy nie wchodzi w interakcję ze stroną. W testach przeglądarkowych silnik przy każdym uruchomieniu mierzy LCP, CLS i INP względem limitów z NEXUS_PERF_LCP, NEXUS_PERF_CLS i NEXUS_PERF_INP. Domyślne progi są zgodne z web.dev:
| Wskaźnik | Dobry do | Słaby powyżej |
|---|---|---|
| LCP | 2500 ms | 4000 ms |
| CLS | 0.1 | 0.25 |
| INP | 200 ms | 500 ms |
Są to wyniki laboratoryjne ze skryptowego wczytywania strony, sygnał regresji przy stałym profilu, a nie dane terenowe od rzeczywistych użytkowników. INP wymaga kliknięcia lub naciśnięcia klawisza, więc test, który tylko wczytuje strony, nie ma tego pomiaru. Przekroczenie limitu zmienia status testu na PERFORMANCE_DEGRADED tylko wtedy, gdy NEXUS_PERF_STRICT ma wartość true; w przeciwnym razie jest zapisywane i pokazywane w raporcie.
W raporcie wydania
Raport dla kierownictwa uznaje przebiegi testów obciążeniowych zakończone statusem OVER_BUDGET lub REGRESSED za nieudane, pokazuje ostatni przebieg i dodaje zalecenie, gdy ostatni przebieg testu obciążeniowego ma status inny niż PASS lub UNMEASURED.
Częste pytania
Czy generator obciążenia steruje rzeczywistymi przeglądarkami?
Nie. Wirtualni użytkownicy wysyłają żądania HTTP, dzięki czemu generator obciążenia może symulować tysiące użytkowników. Playwright Chromium jest używany tylko do pomiarów Web Vitals i testów przeglądarkowych.
Dlaczego przebieg ma status UNMEASURED zamiast PASS?
Ponieważ niczego nie dało się sprawdzić, na przykład z powodu braku kryteriów, zbyt małej liczby próbek do obliczenia percentyla lub budżetu Web Vitals, którego narzędzie pomiarowe nie mogło odczytać. Budżetu, którego nikt nie sprawdził, nie można uznać za dotrzymany.
Czy mogę przeprowadzić test obciążeniowy dowolnej witryny?
Tylko systemu, który należy do Ciebie lub na którego testowanie masz pisemną zgodę. Narzędzie prosi o wpisanie AUTHORIZED nawet dla localhost, a testowanie celu poza tym komputerem wymaga
--yes.Czy wolna strona oznacza niepowodzenie testu?
Tylko w trybie ścisłym. Domyślnie przekroczenie budżetu wydajności jest zapisywane jako ostrzeżenie. Przy ustawieniu
NEXUS_PERF_STRICT=truetest otrzymuje status PERFORMANCE_DEGRADED, który nadal oznacza kod wyjścia 0 w CI.
Ustal budżet szybkości.
Wszystko działa na Twoich własnych maszynach. Karta nie jest wymagana.