Verdicts de test diagnostiques : 15 issues au lieu d’une réussite ou d’un échec.
Les verdicts de test diagnostiques remplacent la réussite ou l’échec par une issue nommée qui indique à quoi le résultat est imputable. Nexus StudioQA attribue à chaque exécution l’un de ses 15 verdicts : une réussite sans réserve, une réussite avec réserve, une application défaillante, un test obsolète ou un problème d’environnement tel qu’un délai d’attente dépassé ou un blocage antibot. Seul un échec imputable à l’application donne lieu à un rapport de bogue.
Par l’équipe Nexus StudioQA, Verdict System LLC.
Dernière mise à jour : .
Les 15 verdicts, par groupe
Les 15 verdicts sont SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED et CRASHED.
| Groupe | Verdicts | Code de sortie CI | S’agit-il d’un rapport de bug ? |
|---|---|---|---|
| Réussi | SECURE, CHAOS_RESILIENT | 0 | No |
| Réussi avec une réserve | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Non, mais le rapport et l’Historique affichent la réserve |
| L’application est en panne | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Oui |
| Le test est obsolète | TEST_DRIFT | 1 | Oui, pour le test : réparez la ligne |
| L’environnement est en cause | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Comment le moteur choisit un verdict
Trois questions, dans l’ordre
Le test a-t-il produit un résultat ? S’il a réussi, est-ce sans réserve ? S’il a échoué, à qui la faute : au dispositif de test, à l’environnement ou à l’application ?
Un ordre fixe de motifs
En cas d’échec, le moteur compare le message d’erreur et le journal réseau à des groupes de motifs dans un ordre fixe. Le premier groupe correspondant détermine le verdict, l’ordre fait donc partie intégrante de la conception. Les formulations de Playwright et de Selenium WebDriver sont toutes deux prises en charge.
Tout ne donne pas lieu à un verdict
SKIPPED, INTERRUPTED et CONFIG_ERROR ne font pas partie des 15 verdicts, car aucun ne dit quoi que ce soit sur votre application. Ils ne créent ni dossier de preuves ni ligne dans l’historique.
Comment un échec lié à l’environnement est nommé
| Verdict | Ce que le moteur a observé | Signification |
|---|---|---|
| TIMEOUT | Timeout 30000ms exceeded de Playwright, Wait timed out after de Selenium, une TimeoutError | L’exécution n’a pas répondu à temps. Une page lente, pas la preuve d’une application défaillante. |
| UNREACHABLE | Un nom non résolu, une connexion refusée ou une machine hors ligne, avant qu’une page ait pu être observée | L'hôte n'a pas pu être joint du tout. |
| BLOCKED | Un code 403 ou 429, un CAPTCHA, une page d’accès refusé ou une vérification antibot | Le site s’est protégé, et la requête n’a jamais atteint votre produit. |
| CRASHED | Target closed, Page crashed, une erreur du protocole DevTools, SessionNotCreatedError | Le navigateur ou le pilote s’est arrêté brutalement : vérifiez la machine et le pilote. |
Où trouver les règles complètes
Cette page est un résumé. Comment les 15 verdicts sont déterminés présente les règles complètes, dans l’ordre où le moteur les applique, ainsi que les limites de la méthode. L’index des verdicts détaille chaque verdict sur une page dédiée.
Questions fréquentes
Une réussite avec réserve compte-t-elle comme une réussite en CI ?
Oui. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION et SECURITY_VIOLATION renvoient le code de sortie 0, ils ne font donc pas échouer la compilation. La réserve apparaît dans le rapport et dans l’historique.
Un verdict TIMEOUT signifie-t-il que l’application fonctionne ?
Non. Un verdict TIMEOUT ne prouve pas que l’application fonctionne. Il indique que l’exécution ne permet pas de conclure, et n’est donc pas signalé comme un bogue de l’application. Un test qui dépasse le délai à chaque exécution mérite un examen.
Les contrôles d’accessibilité ou de sécurité peuvent-ils modifier un verdict ?
Uniquement si vous les rendez stricts dans les paramètres. Ils peuvent alors transformer le verdict d’un test réussi en SECURITY_VIOLATION, A11Y_VIOLATION ou PERFORMANCE_DEGRADED, dans cet ordre. Le verdict d’un test échoué n’est jamais requalifié.
La classification est-elle fiable ?
Elle analyse le texte des erreurs, donc un message d’assertion personnalisé contenant 403 ou Forbidden peut être interprété comme BLOCKED. Rédigez des messages personnalisés précis et ouvrez metadata.json lorsqu’un verdict vous surprend.
Exécutez-le sur votre propre machine.
Essayez gratuitement toutes les fonctionnalités, sur vos propres machines. Aucune carte bancaire requise.