Visuele regressietests in Nexus StudioQA.
Visuele regressietests in Nexus StudioQA vergelijken een schermafbeelding van elke uitvoering met een door jou goedgekeurde referentieafbeelding. De eerste uitvoering met --visual legt de referentie vast. Latere uitvoeringen tellen de verschoven pixels, negeren randen met anti-aliasing en bewaren een verschilafbeelding wanneer de wijziging de tolerantie overschrijdt. Standaard wordt een regressie vastgelegd, maar laat die de test niet mislukken.
Door het Nexus StudioQA-team, Verdict System LLC.
Laatst bijgewerkt: .
Wat elke uitvoering vergelijkt
Twee soorten controlepunten, elk met een eigen tolerantie: het aandeel pixels dat mag afwijken voordat de wijziging als regressie telt.
| Controlepunt | Wat wordt vastgelegd | Standaardtolerantie |
|---|---|---|
| Hele pagina | De schermafbeelding van het zichtbare paginagebied aan het einde van de test, opgeslagen onder de naam baseline. | 1.0% van de pixels (NEXUS_VISUAL_THRESHOLD) |
| Element | Eén element, ingesteld binnen de test met visualCheck(page, 'cart-total', page.locator('#cart-total')). | 0.1% van de pixels (NEXUS_VISUAL_ELEMENT_THRESHOLD) |
Hoe een wijziging wordt vastgesteld
Referentieafbeeldingen worden per browser en platform bewaard
Ze staan in
visual-baselines/<browser>@<platform>/in de projectmap, zodat ze samen met je code in versiebeheer kunnen worden opgenomen. Een Windows-afbeelding wordt nooit met een Linux-afbeelding vergeleken, omdat lettertypen en anti-aliasing verschillen. Een browser en platform zonder referentieafbeelding leggen een eigen referentie vast.Randen met anti-aliasing tellen niet mee
Een pixel die alleen is verschoven doordat een rand opnieuw is gemengd, wordt in de verschilafbeelding amberkleurig weergegeven en niet meegeteld. Een pixel telt als gewijzigd wanneer een kleurkanaal 10 of meer afwijkt, en met NEXUS_VISUAL_PIXEL_TOLERANCE kun je die waarde instellen tussen 0 en 255.
Opnamen worden herhaald totdat ze stabiel zijn
Een opname wordt herhaald totdat twee opeenvolgende opnamen byte voor byte identiek zijn, met maximaal drie opnamen. Een pagina die niet stabiel wordt, wordt als instabiel gemeld in plaats van ongemerkt de referentie te worden.
Een afwijkend formaat wordt niet uitgerekt
De twee afbeeldingen worden op hun oorspronkelijke grootte vergeleken binnen het gebied dat ze delen, linksboven uitgelijnd. Het gebied dat niet overlapt, telt als afwijkend.
Een controle die niet is uitgevoerd, mislukt
Als de vergelijking niet kan worden uitgevoerd, bijvoorbeeld omdat een afbeelding ontbreekt of de native afbeeldingsbibliotheek niet is geïnstalleerd, mislukt de test ongeacht de strikte instelling. Een controle die nooit is uitgevoerd, wordt niet als geslaagd gemeld.
De belangrijkste instellingen
Ze staan allemaal op het scherm Visuele regressie van de Studio, met hieronder de standaardwaarde.
| Instelling | Standaard | Wat het doet |
|---|---|---|
| Pixels bij elke uitvoering vergelijken | Uit | Schakelt de vergelijking in voor elke uitvoering. --visual schakelt deze in voor één uitvoering. |
| Een regressie laat de test mislukken | Uit | Met NEXUS_VISUAL_STRICT=true laten verschoven pixels buiten de tolerantie de test mislukken. Als dit uitstaat, wordt de regressie vastgelegd en behoudt de test zijn oordeel. |
| Op elke foto gemaskeerd | Geen | CSS-selectors die op elke foto worden afgedekt, zoals een klok of een advertentie (NEXUS_VISUAL_MASK). |
| Bewaarde regressiemappen | 10 | Nieuwste mappen die per test en controlepunt worden bewaard (NEXUS_VISUAL_REGRESSION_RETAIN). |
Wat je beoordeelt en goedkeurt
Elke regressie wordt met eigen bestanden opgeslagen onder visual-regression, en de Studio toont ze in vier weergaven: Naast elkaar, Vegen, Verschil en Knipperen, naast de eerdere uitvoeringen van hetzelfde controlepunt.
| Bestand | Wat het is |
|---|---|
baseline.png | De goedgekeurde afbeelding. |
current.png | De afbeelding van deze uitvoering. |
diff.png | Rood voor gewijzigde pixels, oranje voor genegeerde anti-aliasing, grijs voor ongewijzigde pixels. |
visual-report.md | De cijfers in platte tekst. |
result.json | Hetzelfde resultaat als gegevens. |
Wat het je niet kan vertellen
Pixels kunnen een gepland herontwerp niet van een fout onderscheiden, dus keurt een persoon elke wijziging goed: Deze wijziging goedkeuren in de Studio vervangt de afbeelding van één controlepunt, en nexus baseline --update <TC_ID> doet hetzelfde vanaf de opdrachtregel. Alles wat vanzelf verandert, zoals een klok, een advertentie of een avatar, moet worden gemaskeerd, anders blijft de vergelijking rood uitslaan.
Veelgestelde vragen
Laat een visuele regressie mijn test mislukken?
Niet standaard. De regressie wordt vastgelegd en de test behoudt zijn oordeel. Schakel
NEXUS_VISUAL_STRICTin en een regressie buiten de tolerantie laat de test mislukken.Waarom is er een referentieafbeelding per besturingssysteem?
Dezelfde pagina wordt op Windows, Linux en macOS weergegeven met iets andere lettertypen, anti-aliasing en schuifbalken. Een vergelijking tussen deze systemen meldt dan een wijziging die alleen door de weergave wordt veroorzaakt, dus elke browser en elk platform behoudt zijn eigen referentieafbeelding.
Hoe voorkom ik dat een klok of advertentie de controle laat mislukken?
Maskeer deze met een CSS-selector in de visuele instellingen, of gebruik een elementcontrolepunt voor het deel van de pagina dat voor jou belangrijk is. Voor een elementcontrolepunt geldt een tiende van de tolerantie voor de hele pagina, dus de controle is streng zonder dat een bewegende advertentie deze rood laat uitslaan.
Waar worden de referentieafbeeldingen opgeslagen?
In
visual-baselinesin je projectmap, niet in de bewijsmap, zodat ze samen met de code kunnen worden vastgelegd. De regressieverschillen zijn uitvoeringsresultaten en staan invisual-regressiononder de bewijsmap.
Draai het op je eigen machine.
Probeer alle functies gratis op je eigen machines. Geen creditcard nodig.