Twoje testy nadal korzystają z Playwright, Selenium i pytest. Nie zastępujemy ich. Przygotowujemy je do zastosowań korporacyjnych, a kod, materiały dowodowe i historia pozostają Twoją własnością.

Testy obciążeniowe i Web Vitals względem limitów.

Nexus StudioQA uruchamia scenariusz obciążeniowy z pliku JSON lub ekranu Obciążenie i ocenia go względem limitów określonych przed uruchomieniem. Każde uruchomienie kończy się statusem PASS, OVER_BUDGET, REGRESSED lub UNMEASURED. W testach przeglądarkowych limity LCP, CLS i INP mogą zmienić status testu zakończonego powodzeniem na PERFORMANCE_DEGRADED, gdy włączony jest tryb ścisły.

Autorzy to zespół Nexus StudioQA, Verdict System LLC.

Ostatnia aktualizacja: .

Cztery werdykty testów obciążeniowych

WerdyktKiedy
PASSMożna było sprawdzić co najmniej jedno kryterium i wszystkie zostały spełnione
OVER_BUDGETNie spełniono kryterium lub model otwarty nie zdołał rozpocząć ponad 1% żądanych iteracji
REGRESSEDW granicach limitów, ale p95 przekracza 1.25-krotność mediany p95 z ostatnich udanych uruchomień i jest od niej wyższy o co najmniej 25 ms
UNMEASUREDNie można było niczego sprawdzić: brak kryteriów, mniej niż 5 prób, mniej niż 5 prawidłowych próbek dla p95 lub limit Web Vitals, którego sonda nie mogła zmierzyć

Punktem odniesienia dla REGRESSED jest ten sam scenariusz, cel, model i liczba użytkowników z ostatnich 5 udanych uruchomień, przy czym wymagane są co najmniej 3. Całkowicie niedostępny cel otrzymuje status OVER_BUDGET, a nie UNMEASURED, ponieważ odsetek błędów jest oceniany na podstawie prób. Przy włączonym strict statusy OVER_BUDGET i REGRESSED kończą proces kodem wyjścia 1, co pozwala zatrzymać potok.

Co robi uruchomienie testu obciążeniowego

Scenariusz określa cel, kroki wraz z asercjami, czas namysłu oraz model zamknięty (od 1 do 5000 użytkowników) albo otwarty (częstotliwość żądań). Wirtualni użytkownicy wysyłają żądania HTTP z wątków roboczych, a raport podaje percentyle, przepustowość i odsetek błędów, nigdy samą średnią. Najpierw działają dwa zabezpieczenia: zanim cokolwiek zostanie wysłane, wpisujesz AUTHORIZED, a cel inny niż ten komputer wymaga także --yes. Wyniki trafiają do evidence/load-runs.

Web Vitals

Z opcją --vitals sonda w Playwright Chromium wczytuje strony przed obciążeniem, w jego trakcie i po nim oraz sprawdza limity p75 dla LCP, FCP, CLS, TBT i TTFB. INP nie jest tam obsługiwany, ponieważ sonda nigdy nie wchodzi w interakcję ze stroną. W testach przeglądarkowych silnik przy każdym uruchomieniu mierzy LCP, CLS i INP względem limitów z NEXUS_PERF_LCP, NEXUS_PERF_CLS i NEXUS_PERF_INP. Domyślne progi są zgodne z web.dev:

WskaźnikDobry doSłaby powyżej
LCP2500 ms4000 ms
CLS0.10.25
INP200 ms500 ms

Są to wyniki laboratoryjne ze skryptowego wczytywania strony, sygnał regresji przy stałym profilu, a nie dane terenowe od rzeczywistych użytkowników. INP wymaga kliknięcia lub naciśnięcia klawisza, więc test, który tylko wczytuje strony, nie ma tego pomiaru. Przekroczenie limitu zmienia status testu na PERFORMANCE_DEGRADED tylko wtedy, gdy NEXUS_PERF_STRICT ma wartość true; w przeciwnym razie jest zapisywane i pokazywane w raporcie.

W raporcie wydania

Raport dla kierownictwa uznaje przebiegi testów obciążeniowych zakończone statusem OVER_BUDGET lub REGRESSED za nieudane, pokazuje ostatni przebieg i dodaje zalecenie, gdy ostatni przebieg testu obciążeniowego ma status inny niż PASS lub UNMEASURED.

Częste pytania

  • Czy generator obciążenia steruje rzeczywistymi przeglądarkami?

    Nie. Wirtualni użytkownicy wysyłają żądania HTTP, dzięki czemu generator obciążenia może symulować tysiące użytkowników. Playwright Chromium jest używany tylko do pomiarów Web Vitals i testów przeglądarkowych.

  • Dlaczego przebieg ma status UNMEASURED zamiast PASS?

    Ponieważ niczego nie dało się sprawdzić, na przykład z powodu braku kryteriów, zbyt małej liczby próbek do obliczenia percentyla lub budżetu Web Vitals, którego narzędzie pomiarowe nie mogło odczytać. Budżetu, którego nikt nie sprawdził, nie można uznać za dotrzymany.

  • Czy mogę przeprowadzić test obciążeniowy dowolnej witryny?

    Tylko systemu, który należy do Ciebie lub na którego testowanie masz pisemną zgodę. Narzędzie prosi o wpisanie AUTHORIZED nawet dla localhost, a testowanie celu poza tym komputerem wymaga --yes.

  • Czy wolna strona oznacza niepowodzenie testu?

    Tylko w trybie ścisłym. Domyślnie przekroczenie budżetu wydajności jest zapisywane jako ostrzeżenie. Przy ustawieniu NEXUS_PERF_STRICT=true test otrzymuje status PERFORMANCE_DEGRADED, który nadal oznacza kod wyjścia 0 w CI.

Ustal budżet szybkości.

Wszystko działa na Twoich własnych maszynach. Karta nie jest wymagana.