Vos tests restent sous Playwright, Selenium et pytest. Nous ne les remplaçons pas. Nous les adaptons aux exigences des entreprises, et vous restez propriétaire de votre code, de vos preuves et de votre historique.

Verdicts de test diagnostiques : 15 issues au lieu d’une réussite ou d’un échec.

Les verdicts de test diagnostiques remplacent la réussite ou l’échec par une issue nommée qui indique à quoi le résultat est imputable. Nexus StudioQA attribue à chaque exécution l’un de ses 15 verdicts : une réussite sans réserve, une réussite avec réserve, une application défaillante, un test obsolète ou un problème d’environnement tel qu’un délai d’attente dépassé ou un blocage antibot. Seul un échec imputable à l’application donne lieu à un rapport de bogue.

Par l’équipe Nexus StudioQA, Verdict System LLC.

Dernière mise à jour : .

Les 15 verdicts, par groupe

Les 15 verdicts sont SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED et CRASHED.

GroupeVerdictsCode de sortie CIS’agit-il d’un rapport de bug ?
RéussiSECURE, CHAOS_RESILIENT0No
Réussi avec une réserveAUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0Non, mais le rapport et l’Historique affichent la réserve
L’application est en panneBREACHED, BREACHED_FLAKY, CHAOS_BREACHED1Oui
Le test est obsolèteTEST_DRIFT1Oui, pour le test : réparez la ligne
L’environnement est en causeTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

Comment le moteur choisit un verdict

  • Trois questions, dans l’ordre

    Le test a-t-il produit un résultat ? S’il a réussi, est-ce sans réserve ? S’il a échoué, à qui la faute : au dispositif de test, à l’environnement ou à l’application ?

  • Un ordre fixe de motifs

    En cas d’échec, le moteur compare le message d’erreur et le journal réseau à des groupes de motifs dans un ordre fixe. Le premier groupe correspondant détermine le verdict, l’ordre fait donc partie intégrante de la conception. Les formulations de Playwright et de Selenium WebDriver sont toutes deux prises en charge.

  • Tout ne donne pas lieu à un verdict

    SKIPPED, INTERRUPTED et CONFIG_ERROR ne font pas partie des 15 verdicts, car aucun ne dit quoi que ce soit sur votre application. Ils ne créent ni dossier de preuves ni ligne dans l’historique.

Comment un échec lié à l’environnement est nommé

VerdictCe que le moteur a observéSignification
TIMEOUTTimeout 30000ms exceeded de Playwright, Wait timed out after de Selenium, une TimeoutErrorL’exécution n’a pas répondu à temps. Une page lente, pas la preuve d’une application défaillante.
UNREACHABLEUn nom non résolu, une connexion refusée ou une machine hors ligne, avant qu’une page ait pu être observéeL'hôte n'a pas pu être joint du tout.
BLOCKEDUn code 403 ou 429, un CAPTCHA, une page d’accès refusé ou une vérification antibotLe site s’est protégé, et la requête n’a jamais atteint votre produit.
CRASHEDTarget closed, Page crashed, une erreur du protocole DevTools, SessionNotCreatedErrorLe navigateur ou le pilote s’est arrêté brutalement : vérifiez la machine et le pilote.

Où trouver les règles complètes

Cette page est un résumé. Comment les 15 verdicts sont déterminés présente les règles complètes, dans l’ordre où le moteur les applique, ainsi que les limites de la méthode. L’index des verdicts détaille chaque verdict sur une page dédiée.

Questions fréquentes

  • Une réussite avec réserve compte-t-elle comme une réussite en CI ?

    Oui. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION et SECURITY_VIOLATION renvoient le code de sortie 0, ils ne font donc pas échouer la compilation. La réserve apparaît dans le rapport et dans l’historique.

  • Un verdict TIMEOUT signifie-t-il que l’application fonctionne ?

    Non. Un verdict TIMEOUT ne prouve pas que l’application fonctionne. Il indique que l’exécution ne permet pas de conclure, et n’est donc pas signalé comme un bogue de l’application. Un test qui dépasse le délai à chaque exécution mérite un examen.

  • Les contrôles d’accessibilité ou de sécurité peuvent-ils modifier un verdict ?

    Uniquement si vous les rendez stricts dans les paramètres. Ils peuvent alors transformer le verdict d’un test réussi en SECURITY_VIOLATION, A11Y_VIOLATION ou PERFORMANCE_DEGRADED, dans cet ordre. Le verdict d’un test échoué n’est jamais requalifié.

  • La classification est-elle fiable ?

    Elle analyse le texte des erreurs, donc un message d’assertion personnalisé contenant 403 ou Forbidden peut être interprété comme BLOCKED. Rédigez des messages personnalisés précis et ouvrez metadata.json lorsqu’un verdict vous surprend.

Exécutez-le sur votre propre machine.

Essayez gratuitement toutes les fonctionnalités, sur vos propres machines. Aucune carte bancaire requise.