Vos tests restent sous Playwright, Selenium et pytest. Nous ne les remplaçons pas. Nous les adaptons aux exigences des entreprises, et vous restez propriétaire de votre code, de vos preuves et de votre historique.

Un outil de test de chaos pour vos tests existants.

Chaos Lab dans Nexus StudioQA injecte une perturbation dans le navigateur pendant l’exécution de l’un de vos tests : latence réseau, interruption de connexion, ralentissement du processeur ou défaillance d’une dépendance. L’exécution se termine par CHAOS_RESILIENT si le test a résisté, CHAOS_BREACHED dans le cas contraire, et CHAOS_NOT_INJECTED si la perturbation n’a jamais pris effet, ce qui ne dit rien de la résilience.

Par l’équipe Nexus StudioQA, Verdict System LLC.

Dernière mise à jour : .

Les modes de perturbation

ModeFonctionnalitésPar défaut
networkRetarde chaque requête d’une durée définie ; environ 20% subissent quelques centaines de millisecondes supplémentaires400 ms
offlineCoupe le réseau une fois, à un moment aléatoire dans les 30 premières secondes5000 ms
cpuRalentit le processeur d’un facteur de 4 ; Chromium uniquement4x, fixe
allRéseau, processeur et coupure de connexion combinésValeurs par défaut ci-dessus
dependencyRépond à une URL de votre choix par un code 429, 500 ou 503, une réponse lente, bloquée ou au corps tronquéDéfini par vous

La perte de paquets et la pression mémoire peuvent s’ajouter à n’importe quel mode. Une perturbation de dépendance surveille aussi les vagues de nouvelles tentatives : plus de 10 requêtes vers l’URL perturbée en 10 secondes. Vous lancez une perturbation avec nexus patrol TC01 --chaos=network, ou depuis l’écran Chaos Lab.

Comment une exécution avec perturbation est évaluée

VerdictSignification
CHAOS_RESILIENTLe test a réussi alors que la perturbation était active
CHAOS_BREACHEDLe test a échoué sous l’effet de la perturbation
CHAOS_NOT_INJECTEDLe test a réussi, mais aucune perturbation n’a pris effet, par exemple cpu sur Firefox. Ce n’est pas un résultat et il est exclu de tous les taux

La page des verdicts présente les règles complètes. Les exécutions avec perturbation sont classées dans leur propre dossier de preuves, afin qu’un échec provoqué ne pénalise jamais la stabilité de la suite réelle.

L’état stable, pas seulement les assertions

Un test peut réussir tout en étant beaucoup plus lent sous l’effet de la perturbation. Chaos Lab compare chaque exécution à la durée médiane du même test sur le même navigateur sans perturbation. Une exécution dépassant 2 fois cette durée de référence est signalée comme présentant un écart (la tolérance est NEXUS_CHAOS_TOLERANCE). Les Web Vitals mesurés pendant la perturbation sont également enregistrés. Au fil du temps, chaque test reçoit une étiquette de résilience : RESILIENT à 90% ou plus, TOLERANT à 70%, FRAGILE à 50%, VULNERABLE en dessous.

Défaillances d’infrastructure

nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> met volontairement hors service un conteneur Docker enregistré, ou l’application lancée par Nexus, et mesure sa capacité à redémarrer : RESILIENT, DEGRADED ou NOT_RECOVERED. Une autorisation est nécessaire avant toute action, et --restore annule une défaillance laissée active.

Ce qui n’est pas couvert

Les tests d’API s’exécutent sans chaos. Selenium sur Firefox est ignoré en mode chaos, car les tests réussiraient sans qu’aucune défaillance soit injectée. --chaos et --visual ne peuvent pas être combinés.

Questions fréquentes

  • Dois-je réécrire mes tests pour le chaos ?

    Non. La défaillance est appliquée lors de l’exécution de vos tests existants, dans Playwright, ou avec Python et Selenium sur Chromium. Exécutez d’abord chaque test une fois sans défaillance pour établir une référence pour la vérification de l’état stable.

  • Que signifie CHAOS_NOT_INJECTED ?

    Le test a réussi, mais la défaillance n’a jamais pris effet. Par exemple, la limitation du processeur ne fonctionne que dans Chromium. Ce résultat n’est comptabilisé ni comme résilient ni comme défaillant, et ne peut donc ni augmenter ni diminuer un taux.

  • Le chaos peut-il endommager mon système de production ?

    Les défaillances du navigateur agissent sur la page testée, pas sur vos serveurs. Les défaillances d’infrastructure agissent sur les conteneurs que vous enregistrez, nécessitent une autorisation préalable et peuvent être annulées par une restauration. Ne ciblez jamais un système qui ne vous appartient pas.

  • Un échec en mode chaos compte-t-il comme un bogue ?

    Il s’agit d’un constat de résilience, consigné séparément de la suite habituelle. Il ne modifie pas les indicateurs de stabilité des tests réels.

Découvrez ce qui se passe quand les choses tournent mal.

Tout s’exécute sur vos propres machines. Aucune carte bancaire requise.