Twoje testy nadal korzystają z Playwright, Selenium i pytest. Nie zastępujemy ich. Przygotowujemy je do zastosowań korporacyjnych, a kod, materiały dowodowe i historia pozostają Twoją własnością.

Przewidywanie ryzyka testów przez AI na podstawie Twojej historii.

Nexus StudioQA ocenia każdy test i każdą przeglądarkę w skali od 0 do 100 pod kątem ryzyka wystąpienia problemu przy następnym wykonaniu. Regresja logistyczna napisana w czystym JavaScript uczy się na podstawie historii wykonań na Twoim komputerze. Gdy historia jest zbyt krótka, zastępuje ją średnia ważona wykładniczo. Przy każdej ocenie podane są czynniki, które na nią wpłynęły.

Autorzy to zespół Nexus StudioQA, Verdict System LLC.

Ostatnia aktualizacja: .

Co analizuje

Dla każdego testu i każdej przeglądarki mechanizm predykcji odczytuje wykonania w porządku chronologicznym z Historii i wyznacza osiem cech na podstawie ostatnich 10 wykonań.

FunkcjaCo mierzy
fail_rate_5, fail_rate_10Udział wykonań z problemami w ostatnich 5 i ostatnich 10 wykonaniach
flaky_rate_10Udział wykonań wymagających ponowienia lub niestabilnych
alternationJak często wynik zmienia się z zaliczenia na niepowodzenie lub odwrotnie
last_problemCzy podczas ostatniego wykonania wystąpił problem
streak_signedBieżąca seria: dodatnia dla kolejnych problemów, ujemna dla kolejnych zaliczeń
duration_cv, duration_driftJak niestabilny jest czas wykonania i jak ostatnie wykonanie wypada na tle mediany

Wykonanie z problemem ma status BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE lub BLOCKED. Wykonania testów chaosu są celowo pomijane, ponieważ błędy są w nich wywoływane sztucznie i uczyłyby model niewłaściwych zależności.

Model i jego mechanizm zastępczy

SytuacjaMetodaWynik
Co najmniej 12 połączonych próbek, w tym co najmniej 4 z problemami i 4 bez problemówRegresja logistyczna trenowana na przesuwnych oknach danych ze wszystkich testów i przeglądarek łącznieOcena od 0 do 100 na podstawie prawdopodobieństwa wyznaczonego przez model
Mniej próbek niż wymaganeHeurystyka: 50% EWMA problemów, 20% naprzemienności wyników, 20% odsetka niestabilnych wykonań, 10% niestabilności czasu trwaniaOcena od 0 do 100
Mniej niż 3 wykonania testuBrakBrak wiersza; podawana jest liczba takich testów

Oceny od 60 wzwyż są WYSOKIE, od 30 do 59 są ŚREDNIE, a pozostałe są NISKIE. Sekcja modelu podaje jego trafność w porównaniu z modelem bazowym wybierającym klasę większościową, mierzoną walidacją krzyżową z pomijaniem jednej próbki (5-krotną przy ponad 200 próbkach), a nie trafnością na własnych danych treningowych.

Niestabilny, niesprawny lub niejednoznaczny

Test, który za każdym razem kończy się niepowodzeniem, jest przewidywalny: jest niesprawny i ponowienie go nie naprawi. Dlatego każdy wiersz zawiera też wzorzec wyników. Naprzemienne wyniki oznaczają test niestabilny, odsetek niepowodzeń wynoszący co najmniej 80% bez naprzemienności oznacza test niesprawny, a pozostałe przypadki są niejednoznaczne. Studio szereguje testy w ten sam sposób, na trzech osobnych listach: testów niedeterministycznych, niesprawnych oraz według kosztu w sekundach poświęconych na nieudane wykonania. Para wymaga co najmniej 5 wykonań, zanim jej wskaźnik zostanie uznany za miarodajny.

Gdzie działa i gdzie widać wyniki

Uruchamia się go poleceniem nexus predict [TC] [--browser b] [--json] [--no-save], a wyniki zapisuje w pliku evidence/mlops/flakiness-predictions.json w Twoim obszarze roboczym. Studio pokazuje ranking w Evidence Locker. Nie korzysta z usług zewnętrznych ani dodatkowych zależności: trenowanie odbywa się w czystym JavaScript, więc historia nigdy nie opuszcza Twojego komputera.

Częste pytania

  • Czy to duży model językowy?

    Nie. To niewielki model regresji logistycznej trenowany na historii Twoich wykonań, w czystym JavaScript. Jest deterministyczny: ta sama historia daje te same oceny.

  • Czy przewiduje błąd w aplikacji?

    Przewiduje ryzyko wystąpienia problemu przy następnym wykonaniu testu, w tym niestabilności i awarii środowiska. Nie czyta Twojego kodu ani nie wskazuje, co jest nie tak.

  • Jak obszernej historii potrzebuje?

    Co najmniej 3 wykonań testu, aby w ogóle go ocenić. Do wytrenowania modelu potrzeba co najmniej 12 połączonych próbek, w tym co najmniej 4 wykonań z problemami i 4 bez problemów; wcześniej stosowana jest heurystyka EWMA.

  • Dlaczego przy ocenie są podawane czynniki?

    Każdej ocenie towarzyszą maksymalnie trzy zrozumiałe uzasadnienia, takie jak wysoki odsetek problemów w ostatnich wykonaniach lub naprzemienne powodzenia i niepowodzenia, dzięki czemu można zweryfikować ranking na podstawie historii.

Zobacz, które testy zakończą się niepowodzeniem jako następne.

Wszystko działa na Twoich własnych maszynach. Karta nie jest wymagana.