Ihre Tests bleiben bei Playwright, Selenium und pytest. Wir ersetzen sie nicht. Wir machen sie unternehmenstauglich, und Ihr Code, Ihre Nachweise und Ihr Verlauf bleiben Ihr Eigentum.

Visuelle Regressionstests in Nexus StudioQA.

Visuelle Regressionstests in Nexus StudioQA vergleichen ein Bildschirmfoto aus jedem Durchlauf mit einem von Ihnen freigegebenen Referenzbild. Der erste Durchlauf mit --visual legt das Referenzbild an. Spätere Durchläufe zählen die abweichenden Pixel, ignorieren geglättete Kanten und speichern ein Differenzbild, wenn die Änderung die Toleranz überschreitet. Standardmäßig wird eine Regression erfasst, lässt den Test aber nicht fehlschlagen.

Vom Nexus StudioQA-Team, Verdict System LLC.

Zuletzt aktualisiert: .

Was bei jedem Durchlauf verglichen wird

Zwei Arten von Prüfpunkten, jeweils mit eigener Toleranz: dem Anteil der Pixel, die abweichen dürfen, bevor die Änderung als Regression gilt.

PrüfpunktWas aufgenommen wirdStandardtoleranz
Gesamte SeiteDas Bildschirmfoto des sichtbaren Bereichs am Testende, gespeichert unter dem Namen baseline.1.0% der Pixel (NEXUS_VISUAL_THRESHOLD)
ElementEin einzelnes Element, das im Test mit visualCheck(page, 'cart-total', page.locator('#cart-total')) festgelegt wird.0.1% der Pixel (NEXUS_VISUAL_ELEMENT_THRESHOLD)

Wie eine Änderung ermittelt wird

  • Referenzbilder werden pro Browser und Plattform gespeichert

    Sie liegen im Projektordner unter visual-baselines/<browser>@<platform>/ und können so zusammen mit Ihrem Code versioniert werden. Ein Windows-Bild wird niemals mit einem Linux-Bild verglichen, da sich Schriftarten und Kantenglättung unterscheiden. Fehlt für eine Kombination aus Browser und Plattform ein Referenzbild, wird ein eigenes angelegt.

  • Geglättete Kanten werden nicht mitgezählt

    Ein Pixel, das nur durch eine erneute Kantenglättung abweicht, wird im Differenzbild bernsteinfarben markiert und nicht mitgezählt. Ein Pixel gilt als geändert, wenn ein Farbkanal um mindestens 10 abweicht. Mit NEXUS_VISUAL_PIXEL_TOLERANCE lässt sich dieser Wert zwischen 0 und 255 einstellen.

  • Aufnahmen werden wiederholt, bis sie stabil sind

    Eine Aufnahme wird wiederholt, bis zwei aufeinanderfolgende Aufnahmen bytegenau identisch sind, höchstens jedoch dreimal. Eine Seite, die nie stabil wird, wird als instabil gemeldet, statt unbemerkt zum Referenzbild zu werden.

  • Abweichende Größen werden nicht skaliert

    Die beiden Bilder werden in Originalgröße im gemeinsamen Bereich verglichen, oben links ausgerichtet. Nicht überlappende Bereiche gelten als abweichend.

  • Eine nicht ausgeführte Prüfung schlägt fehl

    Wenn der Vergleich nicht ausgeführt werden kann, etwa weil ein Bild fehlt oder die native Bildbibliothek nicht installiert ist, schlägt der Test unabhängig von der Strenge-Einstellung fehl. Eine Prüfung, die nie stattgefunden hat, wird nicht als bestanden gemeldet.

Die entscheidenden Einstellungen

Alle befinden sich im Bereich Visuelle Regression im Studio, mit den unten angegebenen Standardwerten.

EinstellungStandardFunktionsumfang
Pixel bei jedem Durchlauf vergleichenAusAktiviert den Vergleich für jeden Durchlauf. --visual aktiviert ihn für einen einzelnen Durchlauf.
Bei einer Regression schlägt der Test fehlAusMit NEXUS_VISUAL_STRICT=true führen Pixelverschiebungen jenseits der Toleranz zum Fehlschlagen des Tests. Ist die Einstellung deaktiviert, wird die Regression erfasst und das Testergebnis bleibt unverändert.
In jeder Aufnahme maskiertKeineCSS-Selektoren für Bereiche, die in jeder Aufnahme übermalt werden, etwa eine Uhr oder eine Anzeige (NEXUS_VISUAL_MASK).
Aufbewahrte Regressionsordner10Neueste Ordner, die pro Test und Prüfpunkt aufbewahrt werden (NEXUS_VISUAL_REGRESSION_RETAIN).

Was Sie prüfen und freigeben

Jede Regression wird mit ihren eigenen Dateien unter visual-regression abgelegt. Das Studio zeigt sie in vier Ansichten: Nebeneinander, Wischen, Differenz und Blinken, neben den früheren Durchläufen desselben Prüfpunkts.

DateiWas es ist
baseline.pngDas freigegebene Bild.
current.pngDas Bild dieses Durchlaufs.
diff.pngRot für geänderte Pixel, Gelb für ignorierte Kantenglättung, Grau für unveränderte Pixel.
visual-report.mdDie Zahlen im Klartext.
result.jsonDasselbe Ergebnis als Daten.

Was sich damit nicht erkennen lässt

Anhand von Pixeln lässt sich eine geplante Neugestaltung nicht von einem Fehler unterscheiden. Deshalb gibt ein Mensch jede Änderung frei: Diese Änderung freigeben im Studio ersetzt das Bild eines Prüfpunkts, und nexus baseline --update <TC_ID> bewirkt dasselbe über die Befehlszeile. Alles, was sich von selbst ändert, etwa eine Uhr, eine Anzeige oder ein Avatar, muss maskiert werden, sonst meldet der Vergleich immer wieder rot.

Häufige Fragen

  • Schlägt mein Test bei einer visuellen Regression fehl?

    Standardmäßig nicht. Die Regression wird erfasst und das Testergebnis bleibt unverändert. Aktivieren Sie NEXUS_VISUAL_STRICT, dann schlägt der Test bei einer Regression jenseits der Toleranz fehl.

  • Warum gibt es ein Referenzbild pro Betriebssystem?

    Dieselbe Seite wird unter Windows, Linux und macOS mit leicht unterschiedlichen Schriftarten, Kantenglättungen und Bildlaufleisten dargestellt. Ein systemübergreifender Vergleich meldet Änderungen, die allein auf die Darstellung zurückgehen. Deshalb wird für jeden Browser und jede Plattform ein eigenes Referenzbild gespeichert.

  • Wie verhindere ich, dass eine Uhr oder eine Anzeige die Prüfung fehlschlagen lässt?

    Maskieren Sie das Element mit einem CSS-Selektor in den Einstellungen für den visuellen Vergleich, oder verwenden Sie einen Elementprüfpunkt für den relevanten Seitenbereich. Für einen Elementprüfpunkt gilt ein Zehntel der Toleranz für die gesamte Seite. So bleibt die Prüfung streng, ohne dass eine bewegte Anzeige sie auf rot setzt.

  • Wo werden die Referenzbilder gespeichert?

    Unter visual-baselines in Ihrem Projektordner, nicht im Nachweisordner, damit sie zusammen mit dem Code versioniert werden können. Die Regressionsdifferenzen gehören zur Ausgabe eines Durchlaufs und liegen unter visual-regression im Nachweisordner.

Führen Sie es auf Ihrem eigenen Rechner aus.

Testen Sie alle Funktionen kostenlos auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.