Réussite ou échec ne suffit pas : comment 15 verdicts sont décidés
Un test rouge devrait signifier que l'application est défaillante. Lorsque le rouge peut aussi vouloir dire que le DNS a vacillé, que le site a affiché un CAPTCHA ou que le navigateur s'est arrêté brutalement, l'équipe apprend à relancer les tests en échec au lieu de les analyser, et le véritable défaut reste masqué par le bruit. Nexus StudioQA attribue à chaque exécution l'un des 15 verdicts au lieu de deux. Cette page explique comment le moteur en sélectionne un, selon l'ordre dans lequel il tranche, et où se trouvent les limites de la méthode.
Dernière mise à jour :
Par l'équipe Nexus StudioQA, Verdict System LLC. 7 octobre 2026.
Quels sont les 15 verdicts ?
Les 15 verdicts sont SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED et CRASHED. Ils se répartissent en cinq groupes : réussite, réussite avec réserve, défaillance de l'application, test obsolète et absence de verdict sur l'application en raison d'un problème lié à l'environnement ou au dispositif de test.
| Groupe | Verdicts | Code de sortie CI | S’agit-il d’un rapport de bug ? |
|---|---|---|---|
| Réussi | SECURE, CHAOS_RESILIENT | 0 | No |
| Réussi avec une réserve | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Non, mais le rapport et l’Historique affichent la réserve |
| L’application est en panne | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Oui |
| Le test est obsolète | TEST_DRIFT | 1 | Oui, pour le test : réparez la ligne |
| L’environnement est en cause | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Comment le moteur détermine-t-il un verdict ?
Le moteur pose trois questions, dans cet ordre :
- Le test a-t-il produit un résultat ?
- S'il a réussi, s'est-il déroulé de manière totalement fluide ?
- S'il a échoué, à qui la faute : au banc de test, à l'environnement ou à l'application ?
Une seule réponse constitue un rapport de bug : une défaillance incombant à l'application. Toute autre réponse constitue une information sur autre chose, et reçoit une désignation explicite en conséquence.
Quand un test ne reçoit-il aucun verdict ?
Trois états ne font pas partie des 15, car aucun ne dit quoi que ce soit sur votre application : SKIPPED (le test n’a jamais été exécuté), INTERRUPTED (Ctrl+C, une limite --max-failures ou un délai d’expiration global l’a arrêté) et CONFIG_ERROR (le dispositif de test n’a pas pu le démarrer). Aucun ne génère de dossier de preuves ni de ligne dans l’historique. Un quatrième terme, CHAOS_NOT_INJECTED, fonctionne de la même manière : une exécution de test de chaos dont la défaillance injectée n’a eu aucun effet ne constitue pas non plus un résultat et n’entre dans le calcul d’aucun taux.
INTERRUPTED existe pour une raison concrète. Sans lui, un test interrompu basculait dans la branche de réussite et était consigné sous le statut SECURE : un verdict vert pour un test qui ne s'est jamais achevé.
Comment une réussite est-elle évaluée ?
- SECURE : réussi dès la première tentative, et aucune réparation n'a été nécessaire.
- AUTO_RECOVER : réussi, mais l'auto-réparation a dû remplacer un sélecteur dans ce test. Le localisateur rédigé par l'auteur est inopérant, et la prochaine modification de la page entraînera une rupture réelle de la suite ; une réussite réparée n'est donc jamais considérée comme irréprochable. Corrigez le sélecteur d'origine.
- FLAKY : échec, puis succès lors d'une nouvelle tentative, sans qu'aucune réparation n'ait été opérée. Quelque chose est instable, dans l'application ou dans le test, et rien n'a été corrigé.
Une exception : lorsque la première tentative a échoué uniquement à cause de l’environnement et que la nouvelle tentative a réussi, le verdict est SECURE. Il s’agit alors d’un délai d’attente dépassé, d’une attente waiting for … to be visible, ou d’un navigateur fermé ou ayant planté, sans texte d’assertion dans le message d’échec. Cette réussite révèle de la latence, pas de l’instabilité.
Comment un échec se voit-il attribuer un verdict ?
Lorsqu'un test échoue, le moteur analyse le message d'erreur et le journal réseau de l'exécution, puis les évalue par rapport à des groupes de modèles selon un ordre prédéfini. Le premier groupe correspondant détermine le verdict, cet ordre fait donc partie intégrante de la conception.
- CONFIG_ERROR en premier :
Cannot find module, uneReferenceErrorouSyntaxError, une variable d'environnement manquante, une fixture ayant échoué lors de l'initialisation. Si le banc de test n'a jamais démarré, tout symptôme ultérieur en découle. Les motifs sont délibérément stricts, limités aux erreurs que seuls le code de test ou son environnement peuvent générer : un CONFIG_ERROR de trop imputerait au banc d'essai un véritable bogue de votre application. - CRASHED :
Target closed,Page crashed, une erreur de protocole DevTools,SessionNotCreatedError, un identifiant de session invalide. Le navigateur ou le pilote a cessé de fonctionner. Il s'agit d'un problème d'infrastructure : vérifiez la machine et le pilote. - BLOCKED : un code 403 ou 429 dans l'erreur ou dans le journal réseau, un CAPTCHA, une page d'accès refusé ou un défi anti-bot que le moteur a détecté à l'écran. Le site s'est défendu et la requête n'a jamais atteint votre produit.
- UNREACHABLE : le réseau a opposé un refus avant même qu'une page ne soit observée : le nom n'a pas été résolu (
net::ERR_NAME_NOT_RESOLVEDsous Chromium,NS_ERROR_UNKNOWN_HOSTsous Firefox,Could not resolve hostnamesous WebKit), la connexion a été refusée ou la machine était hors ligne. Les erreurs de certificat n'entrent pas dans cette catégorie : il s'agit d'une anomalie constatée. - TEST_DRIFT : une étape qui agit sur la page (un clic, une saisie, une sélection de case à cocher) a attendu que son localisateur trouve un élément, sans résultat, sur une page pourtant chargée : l'erreur
locator.click: Timeoutde Playwright sans mentionlocator resolved todans son journal d'appels, ou l'erreurNoSuchElementde Selenium. C'est la référence à l'élément dans le test qui est devenue obsolète, pas l'application qui est en cause. Une assertion ne relève jamais de TEST_DRIFT : un élément qu'une assertion ne trouve pas peut révéler un véritable bogue. L'exécution reste en échec ; ouvrez Repair sur la ligne rouge. - TIMEOUT :
Timeout 30000ms exceededde Playwright,Wait timed out afterde Selenium, uneTimeoutErrorou un test marqué comme expiré par Playwright. Une navigation dont le délai est dépassé correspond à un TIMEOUT, et non à UNREACHABLE : elle a bien démarré, mais la page était lente. - BREACHED_FLAKY : rien de ce qui précède ne l'explique, et le test avait déjà fait l'objet d'une nouvelle tentative. Il a échoué, et l'échec lui-même est incohérent. Comparez les tentatives avant de signaler un bogue.
- BREACHED : rien de ce qui précède ne l'explique, sur une seule tentative. Une assertion a échoué, et aucun modèle lié à l'environnement ou au banc de test n'explique l'erreur. C'est le rapport de bogue.
Chaque groupe prend en compte la formulation propre à Playwright ainsi qu'à Selenium WebDriver. Avant l'intégration des modèles Selenium, un TimeoutError de WebDriver et un SessionNotCreatedError dû à un chromedriver obsolète étaient tous deux signalés comme BREACHED, comme si l'application présentait un défaut.
Un véritable téléphone Android incapable d'exécuter le test parce qu'il s'est mis en veille ou est verrouillé est également classé BLOCKED : il s'agit d'un prérequis non satisfait, et non d'une défaillance du produit. Cette règle est issue d'un cas concret. Un téléphone s'est mis en veille au milieu d'une campagne, et un test de connexion qui avait réussi quatre fois de suite a été marqué d'un rouge critique.
Comment les exécutions de chaos sont-elles jugées ?
Lorsque l’exécution injecte des défaillances depuis Chaos Lab, le verdict répond à une autre question : l’application a-t-elle tenu bon ? Une réussite (SECURE, AUTO_RECOVER, ou une réussite FLAKY obtenue lors d’une nouvelle tentative) devient CHAOS_RESILIENT. Un échec devient CHAOS_BREACHED dans les preuves enregistrées, y compris en cas de dépassement du délai, car il s’agit de l’impact de la défaillance injectée ; la ligne de l’exécution en cours peut toujours afficher TIMEOUT lorsque le délai est écoulé. SKIPPED, INTERRUPTED et CONFIG_ERROR restent inchangés : un test qui n’a pas été exécuté ne dit rien sur la résilience.
Quelles vérifications strictes peuvent modifier un succès ?
Trois vérifications s'exécutent parallèlement à vos assertions : les en-têtes de sécurité, l'accessibilité avec axe-core, ainsi que les budgets de performance pour les Web Vitals et le lazy loading. Elles enregistrent leurs observations à chaque exécution. Elles ne modifient le verdict que si vous les définissez comme strictes dans Settings. Sur une application existante, n'importe laquelle d'entre elles ferait passer toute la suite au rouge dès le premier jour, et une suite constamment au rouge est une suite que personne ne lit.
Lorsqu'elles sont strictes, elles ne s'appliquent qu'à un test réussi, dans l'ordre suivant : SECURITY_VIOLATION, A11Y_VIOLATION, PERFORMANCE_DEGRADED. La sécurité passe en premier car, des trois, c'est celle qui peut se solder par un incident plutôt que par une simple réclamation. Un test en échec n'est jamais requalifié à la hausse : BREACHED indique déjà un problème plus sérieux, et une mise en garde supplémentaire masquerait l'anomalie détectée.
Que voit la CI ?
Les sept verdicts de réussite renvoient le code de sortie 0 : SECURE, AUTO_RECOVER, FLAKY, CHAOS_RESILIENT, PERFORMANCE_DEGRADED, A11Y_VIOLATION et SECURITY_VIOLATION. Une réserve apparaît dans le rapport et dans l’historique, sans faire échouer la compilation. Les sept autres renvoient le code de sortie 1. Les exécuteurs pytest et Selenium renvoient le code de sortie 2 lorsque l’exécution n’a pas du tout pu démarrer, par exemple en l’absence de Python ou avec un navigateur pour lequel le moteur ne dispose d’aucun pilote. patrol renvoie également le code de sortie 2 lorsque tous les passages sur les navigateurs sont à l’état SKIPPED : rien n’a été exécuté, ce n’est donc jamais une réussite.
Quelles sont les limites de la méthode ?
- La classification analyse le texte de l'erreur. Un message que vous avez rédigé vous-même et qui contient
403,ForbiddenouAccess Deniedest interprété comme BLOCKED, et une erreur contenantis not a functionest lue comme CONFIG_ERROR. Veillez à ce que vos messages d'assertion personnalisés soient précis, et consultez metadata.json lorsqu'un verdict vous surprend. - Un TIMEOUT ne constitue pas la preuve que l'application fonctionne. Il indique simplement que l'exécution ne peut pas se prononcer. Un test qui expire à chaque exécution mérite que l'on s'y intéresse.
- Les tentatives de rejeu (« retries ») séparent FLAKY de SECURE, et BREACHED_FLAKY de BREACHED. Sans ces tentatives, un échec intermittent est considéré comme un BREACHED.
- Les tests d'API disposent de sept verdicts qui leur sont propres, régis par d'autres règles : voir les tests d'API.
Où puis-je voir un verdict sur un échec réel ?
La page des preuves suit un test en échec et répertorie tous les fichiers que chaque verdict laisse sur votre disque : report.md, metadata.json, raw-data.json, une capture d’écran et, en cas d’échec réel, la vidéo. L’essai gratuit utilise le même moteur pour vos propres tests.