Tests de régression visuelle dans Nexus StudioQA.
Les tests de régression visuelle dans Nexus StudioQA comparent une capture d’écran de chaque exécution à une image de référence que vous avez approuvée. La première exécution avec --visual crée la référence. Les suivantes comptent les pixels qui ont changé, ignorent les contours anticrénelés et conservent une image des différences lorsque le changement dépasse la tolérance. Par défaut, une régression est enregistrée mais ne fait pas échouer le test.
Par l’équipe Nexus StudioQA, Verdict System LLC.
Dernière mise à jour : .
Ce que chaque exécution compare
Deux types de points de contrôle, chacun avec sa propre tolérance : la proportion de pixels pouvant différer avant que le changement soit considéré comme une régression.
| Point de contrôle | Ce qui est capturé | Tolérance par défaut |
|---|---|---|
| Page entière | La capture d’écran de la zone d’affichage en fin de test, enregistrée sous le nom baseline. | 1.0% des pixels (NEXUS_VISUAL_THRESHOLD) |
| Élément | Un élément, défini dans le test avec visualCheck(page, 'cart-total', page.locator('#cart-total')). | 0.1% des pixels (NEXUS_VISUAL_ELEMENT_THRESHOLD) |
Comment un changement est déterminé
Les références sont conservées par navigateur et par plateforme
Elles sont stockées dans
visual-baselines/<browser>@<platform>/dans le dossier du projet, ce qui permet de les versionner avec votre code. Une image Windows n’est jamais comparée à une image Linux, car les polices et l’anticrénelage diffèrent. Chaque combinaison de navigateur et de plateforme sans référence crée la sienne.Les contours anticrénelés ne sont pas comptés
Un pixel qui a changé uniquement parce qu’un contour a été lissé à nouveau est affiché en orange dans l’image des différences et exclu du décompte. Un pixel est considéré comme modifié lorsqu’un canal de couleur diffère d’au moins 10, et NEXUS_VISUAL_PIXEL_TOLERANCE permet d’ajuster ce seuil entre 0 et 255.
Les captures sont répétées jusqu’à stabilisation
Une capture est répétée jusqu’à ce que deux captures consécutives soient identiques octet par octet, dans la limite de trois prises. Une page qui ne se stabilise jamais est signalée comme instable au lieu de devenir la référence sans avertissement.
Une taille différente n’entraîne aucun étirement
Les deux images sont comparées à leur taille d’origine sur leur zone commune, alignées en haut à gauche. Toute zone sans recouvrement est comptée comme différente.
Un contrôle non exécuté est un échec
Si la comparaison ne peut pas être effectuée, par exemple si une image manque ou si la bibliothèque d’images native n’est pas installée, le test échoue quel que soit le réglage du mode strict. Une vérification qui n’a jamais eu lieu n’est pas signalée comme réussie.
Les paramètres essentiels
Tous se trouvent sur l’écran de régression visuelle du Studio, avec les valeurs par défaut ci-dessous.
| Paramètre | Par défaut | Fonctionnalités |
|---|---|---|
| Comparer les pixels à chaque exécution | Désactivé | Active la comparaison à chaque exécution. --visual l’active pour une seule exécution. |
| Une régression fait échouer le test | Désactivé | Avec NEXUS_VISUAL_STRICT=true, les changements de pixels dépassant la tolérance font échouer le test. Si ce mode est désactivé, la régression est enregistrée et le test conserve son verdict. |
| Masqués sur chaque photo | Aucune | Sélecteurs CSS des éléments à recouvrir sur chaque photo, comme une horloge ou une publicité (NEXUS_VISUAL_MASK). |
| Dossiers de régression conservés | 10 | Dossiers les plus récents conservés par test et par point de contrôle (NEXUS_VISUAL_REGRESSION_RETAIN). |
Ce que vous examinez et approuvez
Chaque régression est classée sous visual-regression avec ses propres fichiers, et le Studio les présente dans quatre vues : Côte à côte, Balayage, Différences et Clignotement, à côté des exécutions précédentes du même point de contrôle.
| Fichier | Ce que c'est |
|---|---|
baseline.png | L’image approuvée. |
current.png | L’image de cette exécution. |
diff.png | Rouge pour les pixels modifiés, orange pour l’anticrénelage ignoré, gris pour les pixels inchangés. |
visual-report.md | Les chiffres en texte brut. |
result.json | Le même résultat sous forme de données. |
Ce que la comparaison ne peut pas vous dire
Les pixels ne permettent pas de distinguer une refonte prévue d’un bogue, une personne doit donc approuver chaque changement : Approuver ce changement dans le Studio remplace l’image d’un point de contrôle, et nexus baseline --update <TC_ID> fait de même en ligne de commande. Tout élément qui change de lui-même, comme une horloge, une publicité ou un avatar, doit être masqué, sinon il continuera à faire passer la comparaison au rouge.
Questions fréquentes
Une régression visuelle fait-elle échouer mon test ?
Pas par défaut. La régression est enregistrée et le test conserve son verdict. Activez
NEXUS_VISUAL_STRICTpour qu’une régression dépassant la tolérance fasse échouer le test.Pourquoi y a-t-il une référence par système d’exploitation ?
Une même page s’affiche avec des polices, un anticrénelage et des barres de défilement légèrement différents sous Windows, Linux et macOS. Les comparer entre eux signale un changement qui ne tient qu’au moteur de rendu, c’est pourquoi chaque navigateur et chaque plateforme conserve sa propre référence.
Comment empêcher une horloge ou une publicité de faire échouer la vérification ?
Masquez-la avec un sélecteur CSS dans les paramètres visuels, ou utilisez un point de contrôle d’élément sur la partie de la page qui vous intéresse. La tolérance d’un point de contrôle d’élément est égale au dixième de celle de la page entière : il reste donc strict sans qu’une publicité animée le fasse passer au rouge.
Où sont stockées les images de référence ?
Dans
visual-baselines, dans le dossier de votre projet, et non dans le dossier des preuves, afin de pouvoir les versionner avec le code. Les différences de régression sont des résultats d’exécution et se trouvent dansvisual-regression, sous le dossier des preuves.
Exécutez-le sur votre propre machine.
Essayez gratuitement toutes les fonctionnalités, sur vos propres machines. Aucune carte bancaire requise.