Ihre Tests bleiben bei Playwright, Selenium und pytest. Wir ersetzen sie nicht. Wir machen sie unternehmenstauglich, und Ihr Code, Ihre Nachweise und Ihr Verlauf bleiben Ihr Eigentum.

KI-gestützte Testrisikoprognose aus Ihrem eigenen Verlauf.

Nexus StudioQA bewertet für jeden Test und Browser auf einer Skala von 0 bis 100 das Risiko, dass beim nächsten Durchlauf ein Problem auftritt. Eine in reinem JavaScript geschriebene logistische Regression lernt aus dem Ausführungsverlauf auf Ihrem Rechner. Bei zu wenigen bisherigen Durchläufen übernimmt ein exponentiell gewichteter Mittelwert. Zu jeder Bewertung werden die zugrunde liegenden Faktoren aufgeführt.

Vom Nexus StudioQA-Team, Verdict System LLC.

Zuletzt aktualisiert: .

Was berücksichtigt wird

Für jeden Test und Browser liest die Prognosefunktion die chronologisch geordneten Durchläufe im Verlauf und bildet acht Merkmale aus den letzten 10 Durchläufen.

FunktionWas gemessen wird
fail_rate_5, fail_rate_10Anteil problematischer Durchläufe unter den letzten 5 und den letzten 10
flaky_rate_10Anteil der Durchläufe, die eine Wiederholung benötigten oder instabil waren
alternationWie oft das Ergebnis zwischen bestanden und fehlgeschlagen wechselt
last_problemOb beim letzten Durchlauf ein Problem auftrat
streak_signedDie aktuelle Serie: positiv bei aufeinanderfolgenden Problemen, negativ bei aufeinanderfolgenden bestandenen Durchläufen
duration_cv, duration_driftWie stark die Laufzeit schwankt und wie der letzte Durchlauf im Vergleich zum Median abschneidet

Ein problematischer Durchlauf hat den Status BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE oder BLOCKED. Chaos-Durchläufe werden bewusst ausgeschlossen, da ihre Fehler gezielt erzeugt werden und das Modell daraus die falschen Schlüsse ziehen würde.

Das Modell und sein Ersatzverfahren

SituationMethodeAusgabe
Mindestens 12 zusammengefasste Stichproben, davon mindestens 4 mit und 4 ohne ProblemeLogistische Regression, trainiert auf gleitenden Fenstern aller Tests und Browser zusammenWert von 0 bis 100 aus der Modellwahrscheinlichkeit
Weniger Stichproben als angegebenHeuristik: 50% EWMA der Probleme, 20% Ergebniswechsel, 20% Rate instabiler Ergebnisse, 10% LaufzeitschwankungenWert von 0 bis 100
Weniger als 3 Durchläufe für einen TestKeineKeine Zeile; die Anzahl solcher Tests wird angegeben

Werte ab 60 sind HOCH, 30 bis 59 sind MITTEL und alle übrigen sind NIEDRIG. Der Modellblock gibt die Genauigkeit im Vergleich zu einer Mehrheitsklassen-Baseline an, gemessen durch Leave-One-Out-Kreuzvalidierung (ab mehr als 200 Stichproben durch 5-fache Kreuzvalidierung), nicht anhand der Genauigkeit auf den eigenen Trainingsdaten.

Instabil, defekt oder unklar

Ein Test, der jedes Mal fehlschlägt, ist vorhersehbar: Er ist defekt, und ein erneuter Versuch behebt das nicht. Deshalb enthält jede Zeile auch ein Muster. Wechselnde Ergebnisse bedeuten instabil, eine Fehlerrate von mindestens 80% ohne Ergebniswechsel bedeutet defekt, und alles andere ist unklar. Studio ordnet Tests nach demselben Prinzip in drei getrennten Listen ein: nichtdeterministisch, defekt und Aufwand in Sekunden für fehlgeschlagene Durchläufe. Ein Paar benötigt mindestens 5 Durchläufe, bevor seine Rate als belastbare Aussage gilt.

Wo es ausgeführt wird und wo es erscheint

Es wird mit nexus predict [TC] [--browser b] [--json] [--no-save] ausgeführt und schreibt evidence/mlops/flakiness-predictions.json in Ihren Arbeitsbereich. Studio zeigt die Rangliste im Evidence Locker an. Es nutzt weder einen externen Dienst noch eine zusätzliche Abhängigkeit: Das Training erfolgt in reinem JavaScript, sodass der Verlauf Ihren Rechner nie verlässt.

Häufige Fragen

  • Ist das ein großes Sprachmodell?

    Nein. Es handelt sich um eine kleine logistische Regression, die in reinem JavaScript anhand Ihres Ausführungsverlaufs trainiert wird. Sie ist deterministisch: Derselbe Verlauf ergibt dieselben Werte.

  • Sagt es einen Fehler in der Anwendung voraus?

    Es sagt das Risiko voraus, dass beim nächsten Durchlauf eines Tests ein Problem auftritt, einschließlich instabiler Ergebnisse und umgebungsbedingter Fehler. Es liest weder Ihren Code noch benennt es die Fehlerursache.

  • Wie viel Verlauf wird benötigt?

    Mindestens 3 Durchläufe eines Tests, um ihn überhaupt bewerten zu können. Zum Trainieren des Modells sind mindestens 12 zusammengefasste Stichproben mit mindestens 4 problematischen und 4 problemlosen Durchläufen erforderlich; davor wird die EWMA-Heuristik verwendet.

  • Warum werden bei einem Wert Einflussfaktoren angezeigt?

    Jeder Wert führt bis zu drei verständliche Gründe auf, etwa eine hohe Problemrate in den letzten Durchläufen oder einen Wechsel zwischen bestandenen und fehlgeschlagenen Tests, damit sich die Rangliste anhand des Verlaufs überprüfen lässt.

Sehen Sie, welche Tests als Nächstes fehlschlagen werden.

Alles läuft auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.