Visuelle Regressionstests in Nexus StudioQA.
Visuelle Regressionstests in Nexus StudioQA vergleichen ein Bildschirmfoto aus jedem Durchlauf mit einem von Ihnen freigegebenen Referenzbild. Der erste Durchlauf mit --visual legt das Referenzbild an. Spätere Durchläufe zählen die abweichenden Pixel, ignorieren geglättete Kanten und speichern ein Differenzbild, wenn die Änderung die Toleranz überschreitet. Standardmäßig wird eine Regression erfasst, lässt den Test aber nicht fehlschlagen.
Vom Nexus StudioQA-Team, Verdict System LLC.
Zuletzt aktualisiert: .
Was bei jedem Durchlauf verglichen wird
Zwei Arten von Prüfpunkten, jeweils mit eigener Toleranz: dem Anteil der Pixel, die abweichen dürfen, bevor die Änderung als Regression gilt.
| Prüfpunkt | Was aufgenommen wird | Standardtoleranz |
|---|---|---|
| Gesamte Seite | Das Bildschirmfoto des sichtbaren Bereichs am Testende, gespeichert unter dem Namen baseline. | 1.0% der Pixel (NEXUS_VISUAL_THRESHOLD) |
| Element | Ein einzelnes Element, das im Test mit visualCheck(page, 'cart-total', page.locator('#cart-total')) festgelegt wird. | 0.1% der Pixel (NEXUS_VISUAL_ELEMENT_THRESHOLD) |
Wie eine Änderung ermittelt wird
Referenzbilder werden pro Browser und Plattform gespeichert
Sie liegen im Projektordner unter
visual-baselines/<browser>@<platform>/und können so zusammen mit Ihrem Code versioniert werden. Ein Windows-Bild wird niemals mit einem Linux-Bild verglichen, da sich Schriftarten und Kantenglättung unterscheiden. Fehlt für eine Kombination aus Browser und Plattform ein Referenzbild, wird ein eigenes angelegt.Geglättete Kanten werden nicht mitgezählt
Ein Pixel, das nur durch eine erneute Kantenglättung abweicht, wird im Differenzbild bernsteinfarben markiert und nicht mitgezählt. Ein Pixel gilt als geändert, wenn ein Farbkanal um mindestens 10 abweicht. Mit NEXUS_VISUAL_PIXEL_TOLERANCE lässt sich dieser Wert zwischen 0 und 255 einstellen.
Aufnahmen werden wiederholt, bis sie stabil sind
Eine Aufnahme wird wiederholt, bis zwei aufeinanderfolgende Aufnahmen bytegenau identisch sind, höchstens jedoch dreimal. Eine Seite, die nie stabil wird, wird als instabil gemeldet, statt unbemerkt zum Referenzbild zu werden.
Abweichende Größen werden nicht skaliert
Die beiden Bilder werden in Originalgröße im gemeinsamen Bereich verglichen, oben links ausgerichtet. Nicht überlappende Bereiche gelten als abweichend.
Eine nicht ausgeführte Prüfung schlägt fehl
Wenn der Vergleich nicht ausgeführt werden kann, etwa weil ein Bild fehlt oder die native Bildbibliothek nicht installiert ist, schlägt der Test unabhängig von der Strenge-Einstellung fehl. Eine Prüfung, die nie stattgefunden hat, wird nicht als bestanden gemeldet.
Die entscheidenden Einstellungen
Alle befinden sich im Bereich Visuelle Regression im Studio, mit den unten angegebenen Standardwerten.
| Einstellung | Standard | Funktionsumfang |
|---|---|---|
| Pixel bei jedem Durchlauf vergleichen | Aus | Aktiviert den Vergleich für jeden Durchlauf. --visual aktiviert ihn für einen einzelnen Durchlauf. |
| Bei einer Regression schlägt der Test fehl | Aus | Mit NEXUS_VISUAL_STRICT=true führen Pixelverschiebungen jenseits der Toleranz zum Fehlschlagen des Tests. Ist die Einstellung deaktiviert, wird die Regression erfasst und das Testergebnis bleibt unverändert. |
| In jeder Aufnahme maskiert | Keine | CSS-Selektoren für Bereiche, die in jeder Aufnahme übermalt werden, etwa eine Uhr oder eine Anzeige (NEXUS_VISUAL_MASK). |
| Aufbewahrte Regressionsordner | 10 | Neueste Ordner, die pro Test und Prüfpunkt aufbewahrt werden (NEXUS_VISUAL_REGRESSION_RETAIN). |
Was Sie prüfen und freigeben
Jede Regression wird mit ihren eigenen Dateien unter visual-regression abgelegt. Das Studio zeigt sie in vier Ansichten: Nebeneinander, Wischen, Differenz und Blinken, neben den früheren Durchläufen desselben Prüfpunkts.
| Datei | Was es ist |
|---|---|
baseline.png | Das freigegebene Bild. |
current.png | Das Bild dieses Durchlaufs. |
diff.png | Rot für geänderte Pixel, Gelb für ignorierte Kantenglättung, Grau für unveränderte Pixel. |
visual-report.md | Die Zahlen im Klartext. |
result.json | Dasselbe Ergebnis als Daten. |
Was sich damit nicht erkennen lässt
Anhand von Pixeln lässt sich eine geplante Neugestaltung nicht von einem Fehler unterscheiden. Deshalb gibt ein Mensch jede Änderung frei: Diese Änderung freigeben im Studio ersetzt das Bild eines Prüfpunkts, und nexus baseline --update <TC_ID> bewirkt dasselbe über die Befehlszeile. Alles, was sich von selbst ändert, etwa eine Uhr, eine Anzeige oder ein Avatar, muss maskiert werden, sonst meldet der Vergleich immer wieder rot.
Häufige Fragen
Schlägt mein Test bei einer visuellen Regression fehl?
Standardmäßig nicht. Die Regression wird erfasst und das Testergebnis bleibt unverändert. Aktivieren Sie
NEXUS_VISUAL_STRICT, dann schlägt der Test bei einer Regression jenseits der Toleranz fehl.Warum gibt es ein Referenzbild pro Betriebssystem?
Dieselbe Seite wird unter Windows, Linux und macOS mit leicht unterschiedlichen Schriftarten, Kantenglättungen und Bildlaufleisten dargestellt. Ein systemübergreifender Vergleich meldet Änderungen, die allein auf die Darstellung zurückgehen. Deshalb wird für jeden Browser und jede Plattform ein eigenes Referenzbild gespeichert.
Wie verhindere ich, dass eine Uhr oder eine Anzeige die Prüfung fehlschlagen lässt?
Maskieren Sie das Element mit einem CSS-Selektor in den Einstellungen für den visuellen Vergleich, oder verwenden Sie einen Elementprüfpunkt für den relevanten Seitenbereich. Für einen Elementprüfpunkt gilt ein Zehntel der Toleranz für die gesamte Seite. So bleibt die Prüfung streng, ohne dass eine bewegte Anzeige sie auf rot setzt.
Wo werden die Referenzbilder gespeichert?
Unter
visual-baselinesin Ihrem Projektordner, nicht im Nachweisordner, damit sie zusammen mit dem Code versioniert werden können. Die Regressionsdifferenzen gehören zur Ausgabe eines Durchlaufs und liegen untervisual-regressionim Nachweisordner.
Führen Sie es auf Ihrem eigenen Rechner aus.
Testen Sie alle Funktionen kostenlos auf Ihren eigenen Rechnern. Keine Kreditkarte erforderlich.