Test di regressione visiva in Nexus StudioQA.
I test di regressione visiva in Nexus StudioQA confrontano una schermata di ogni esecuzione con un'immagine di riferimento che hai approvato. La prima esecuzione con --visual crea l'immagine di riferimento. Le esecuzioni successive contano i pixel cambiati, ignorano i bordi con antialiasing e conservano un'immagine delle differenze quando la modifica supera la tolleranza. Per impostazione predefinita, una regressione viene registrata ma non fa fallire il test.
A cura del gruppo Nexus StudioQA, Verdict System LLC.
Ultimo aggiornamento: .
Cosa confronta ogni esecuzione
Due tipi di punti di controllo, ciascuno con la propria tolleranza: la percentuale di pixel che può differire prima che la modifica venga considerata una regressione.
| Punto di controllo | Cosa viene fotografato | Tolleranza predefinita |
|---|---|---|
| Pagina intera | La schermata dell'area visibile acquisita a fine test, salvata con il nome baseline. | 1.0% dei pixel (NEXUS_VISUAL_THRESHOLD) |
| Elemento | Un elemento, impostato all'interno del test con visualCheck(page, 'cart-total', page.locator('#cart-total')). | 0.1% dei pixel (NEXUS_VISUAL_ELEMENT_THRESHOLD) |
Come viene determinata una modifica
Le immagini di riferimento vengono conservate per browser e piattaforma
Si trovano in
visual-baselines/<browser>@<platform>/nella cartella del progetto, così possono essere gestite nel controllo di versione insieme al codice. Un'immagine Windows non viene mai confrontata con una Linux, perché i caratteri e l'antialiasing differiscono. Ogni combinazione di browser e piattaforma senza un'immagine di riferimento ne crea una propria.I bordi con antialiasing non vengono conteggiati
Un pixel cambiato solo perché un bordo è stato nuovamente sfumato viene colorato di ambra nell'immagine delle differenze ed escluso dal conteggio. Un pixel viene considerato modificato quando un canale di colore differisce di almeno 10, e NEXUS_VISUAL_PIXEL_TOLERANCE consente di impostare questo valore tra 0 e 255.
Le foto vengono scattate di nuovo finché non si stabilizzano
Una foto viene scattata di nuovo finché due scatti consecutivi non risultano identici byte per byte, fino a un massimo di tre scatti. Una pagina che non si stabilizza mai viene segnalata come instabile, anziché diventare l'immagine di riferimento senza che nessuno se ne accorga.
Le immagini di dimensioni diverse non vengono deformate
Le due immagini vengono confrontate nelle dimensioni originali sulla regione che condividono, allineate in alto a sinistra. L'area che non si sovrappone viene conteggiata come diversa.
Un controllo non eseguito fallisce
Se il confronto non può essere eseguito, ad esempio perché manca un'immagine o la libreria nativa per le immagini non è installata, il test fallisce indipendentemente dall'impostazione della modalità rigorosa. Un controllo mai eseguito non viene segnalato come superato.
Le impostazioni che contano
Si trovano tutte nella schermata Regressione visiva di Studio, con i valori predefiniti indicati di seguito.
| Impostazione | Predefinito | Cosa fa |
|---|---|---|
| Confronta i pixel a ogni esecuzione | Disattivato | Attiva il confronto per ogni esecuzione. --visual lo attiva per una singola esecuzione. |
| Una regressione fa fallire il test | Disattivato | Con NEXUS_VISUAL_STRICT=true, i pixel spostati oltre la tolleranza fanno fallire il test. Se disattivato, la regressione viene registrata e il test mantiene il proprio esito. |
| Mascherati in ogni foto | Nessuno | Selettori CSS i cui elementi vengono coperti in ogni foto, ad esempio un orologio o un annuncio (NEXUS_VISUAL_MASK). |
| Cartelle delle regressioni conservate | 10 | Cartelle più recenti conservate per ogni test e punto di controllo (NEXUS_VISUAL_REGRESSION_RETAIN). |
Cosa esamini e approvi
Ogni regressione viene archiviata in visual-regression con i propri file, e Studio li mostra in quattro viste: Affiancata, Scorrimento, Differenze e Alternata, accanto alle esecuzioni precedenti dello stesso punto di controllo.
| File | Cos'è |
|---|---|
baseline.png | L'immagine approvata. |
current.png | L’immagine di questa esecuzione. |
diff.png | Rosso per i pixel modificati, ambra per l'anti-aliasing ignorato, grigio per quelli invariati. |
visual-report.md | I numeri in testo semplice. |
result.json | Lo stesso risultato sotto forma di dati. |
Cosa non può dirti
I pixel non possono distinguere un rifacimento grafico pianificato da un errore, quindi ogni modifica viene approvata da una persona: Approva questa modifica in Studio sostituisce l’immagine di un singolo punto di controllo, e nexus baseline --update <TC_ID> fa lo stesso dalla riga di comando. Tutto ciò che cambia autonomamente, come un orologio, un annuncio o un avatar, deve essere mascherato, altrimenti continuerà a far risultare il confronto in rosso.
Domande frequenti
Una regressione visiva fa fallire il mio test?
Non per impostazione predefinita. La regressione viene registrata e il test mantiene il proprio esito. Attiva
NEXUS_VISUAL_STRICTe una regressione oltre la tolleranza farà fallire il test.Perché esiste un'immagine di riferimento per ogni sistema operativo?
La stessa pagina viene visualizzata con caratteri, antialiasing e barre di scorrimento leggermente diversi su Windows, Linux e macOS. Il confronto tra questi sistemi segnala una modifica dovuta soltanto al motore di rendering, quindi ogni browser e piattaforma mantiene la propria immagine di riferimento.
Come posso evitare che un orologio o un annuncio faccia fallire il controllo?
Mascheralo con un selettore CSS nelle impostazioni visive, oppure usa un punto di controllo su un elemento nella parte della pagina che ti interessa. A un punto di controllo su un elemento si applica un decimo della tolleranza prevista per la pagina intera, quindi il controllo è rigoroso senza che un annuncio in movimento lo faccia risultare in rosso.
Dove vengono archiviate le immagini di riferimento?
In
visual-baselinesnella cartella del progetto, non nella cartella delle evidenze, così possono essere incluse nei commit insieme al codice. Le differenze delle regressioni sono risultati delle esecuzioni e si trovano invisual-regressionall'interno della cartella delle evidenze.
Eseguilo sulla tua macchina.
Prova gratis tutte le funzionalità, sulle tue macchine. Non serve una carta.