Ihre Tests bleiben bei Playwright, Selenium und pytest. Wir ersetzen sie nicht. Wir machen sie unternehmenstauglich, und Ihr Code, Ihre Nachweise und Ihr Verlauf bleiben Ihr Eigentum.

Erkennung instabiler Tests mit sichtbaren Wiederholungsversuchen.

Die Erkennung instabiler Tests unterscheidet Tests mit widersprüchlichen Ergebnissen zwischen den Versuchen von echten Fehlern. Nexus StudioQA zeichnet jeden Wiederholungsversuch von Playwright- und Selenium-Durchläufen auf: Ein Fehler, der bei einer Wiederholung nicht mehr auftritt, erhält die Einstufung FLAKY, ein Fehler bei einem einzigen Versuch BREACHED und ein Fehler, der selbst inkonsistent auftritt, BREACHED_FLAKY. Eine Wiederholung macht aus einem Defekt niemals einen grünen Durchlauf.

Vom Nexus StudioQA-Team, Verdict System LLC.

Zuletzt aktualisiert: .

Drei Einstufungen, eine Regel

FLAKY bedeutet, dass die Versuche unterschiedliche Ergebnisse lieferten, und nichts anderes. Ein Fehler bei einem einzigen Versuch ohne Wiederholungen wird niemals als instabil eingestuft.

VerdictVersucheLetzter VersuchCI-ExitcodeVideo des Fehlers
FLAKYFehlgeschlagen, dann wiederholtBestanden0No
BREACHEDEinerFehlgeschlagen1Standardmäßig aufbewahrt
BREACHED_FLAKYFehlgeschlagen, dann wiederholtFehlgeschlagen1Standardmäßig aufbewahrt

Wie Wiederholungsversuche gezählt werden

  • Die Versuchsnummer entscheidet

    Ein bestandener Test mit einer Wiederholungsnummer größer als null wird als FLAKY eingestuft, es sei denn, ein Selektor wurde repariert. Dann lautet die Einstufung AUTO_RECOVER. Ein einwandfrei bestandener Test erfordert die Wiederholungsnummer null und keinen reparierten Selektor.

  • Zuerst die Umgebung

    Bevor ein Fehler als BREACHED oder BREACHED_FLAKY eingestuft werden kann, schließt die Engine einen Fehler im Testgerüst, einen Absturz, eine Blockierung, einen nicht erreichbaren Host und eine Zeitüberschreitung aus. Eine Zeitüberschreitung oder ein CAPTCHA wird nicht als Fehlerbericht ausgegeben.

  • Ein langsamer erster Versuch ist nicht instabil

    Wenn der erste Versuch nur an einer Zeitüberschreitung, einem geschlossenen Browser oder dem Warten auf Sichtbarkeit scheiterte und die Wiederholung erfolgreich war, lautet die Einstufung SECURE: Das zeigt Latenz, keine Instabilität.

  • Die Anzahl bleibt beim Durchlauf

    Jede Zeile im Verlauf hält retry_attempt und attempts fest. Die raw-data.json des fehlgeschlagenen Versuchs bleibt erhalten, sodass auch eine Wiederholung, die den Fehler verdeckt hat, dessen Protokoll hinterlässt.

Einen Test erkennen, der kippt

  • Trends im Verlauf

    Der Verlauf enthält für jeden Test und Browser oder jedes Gerät eine Zeile pro Durchlauf. Er zeigt Trends nach Sitzung, Tag oder Woche: Verschlechtert, Wiederhergestellt, Weiterhin fehlerhaft und Langsamer.

  • Risikorangfolge

    Die Rangfolge ordnet Tests danach, wie häufig ihre Ergebnisse wechseln, sie fehlschlagen oder Zeit kosten. Das prognostizierte Risiko wird durch eine logistische Regression anhand Ihres Verlaufs ermittelt; bei geringer Datenmenge dient ein EWMA als Ersatz.

  • Unter fünf Durchläufen gilt nichts als instabil

    Bei weniger als fünf Durchläufen stufen weder Verlauf noch Risikorangliste etwas als instabil ein, denn ein oder zwei Durchläufe lassen kein Muster erkennen.

Häufige Fragen

  • Verbergen erneute Versuche echte Fehler?

    Das können sie, wenn es nur die Zustände bestanden und fehlgeschlagen gibt, denn eine erfolgreiche Wiederholung macht aus einem roten Durchlauf einen grünen. Nexus StudioQA hält die Wiederholung sichtbar: Ein Test, der erst fehlschlägt und dann besteht, erhält FLAKY statt SECURE und erscheint im Bericht und im Verlauf.

  • Lässt ein FLAKY-Test den Build fehlschlagen?

    Nein. FLAKY liefert in der CI den Exitcode 0, erstellt kein Jira-Ticket und bewahrt kein Video auf, bleibt aber als bestanden unter Vorbehalt sichtbar.

  • Warum sind Playwright-Tests instabil?

    Häufige Ursachen: gemeinsam genutzte oder übrig gebliebene Daten, Warten auf das falsche Ereignis, ein instabiler Locator, die Umgebung oder ein echter sporadischer Fehler. Eine Wiederholung macht einen instabilen Test sichtbar, behebt ihn aber nicht.

  • Sagt FLAKY aus, warum ein Test instabil ist?

    Nein. Es besagt, dass die Versuche unterschiedliche Ergebnisse lieferten. Die Ursache in der Anwendung oder im Test zu finden, bleibt Aufgabe eines Menschen. Bei deaktivierten Wiederholungen wird ein sporadischer Fehler als BREACHED eingestuft.

Führen Sie es auf Ihrem eigenen Rechner aus.

Testen Sie alle Funktionen kostenlos auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.