Un outil de test de chaos pour vos tests existants.
Chaos Lab dans Nexus StudioQA injecte une perturbation dans le navigateur pendant l’exécution de l’un de vos tests : latence réseau, interruption de connexion, ralentissement du processeur ou défaillance d’une dépendance. L’exécution se termine par CHAOS_RESILIENT si le test a résisté, CHAOS_BREACHED dans le cas contraire, et CHAOS_NOT_INJECTED si la perturbation n’a jamais pris effet, ce qui ne dit rien de la résilience.
Par l’équipe Nexus StudioQA, Verdict System LLC.
Dernière mise à jour : .
Les modes de perturbation
| Mode | Fonctionnalités | Par défaut |
|---|---|---|
| network | Retarde chaque requête d’une durée définie ; environ 20% subissent quelques centaines de millisecondes supplémentaires | 400 ms |
| offline | Coupe le réseau une fois, à un moment aléatoire dans les 30 premières secondes | 5000 ms |
| cpu | Ralentit le processeur d’un facteur de 4 ; Chromium uniquement | 4x, fixe |
| all | Réseau, processeur et coupure de connexion combinés | Valeurs par défaut ci-dessus |
| dependency | Répond à une URL de votre choix par un code 429, 500 ou 503, une réponse lente, bloquée ou au corps tronqué | Défini par vous |
La perte de paquets et la pression mémoire peuvent s’ajouter à n’importe quel mode. Une perturbation de dépendance surveille aussi les vagues de nouvelles tentatives : plus de 10 requêtes vers l’URL perturbée en 10 secondes. Vous lancez une perturbation avec nexus patrol TC01 --chaos=network, ou depuis l’écran Chaos Lab.
Comment une exécution avec perturbation est évaluée
| Verdict | Signification |
|---|---|
| CHAOS_RESILIENT | Le test a réussi alors que la perturbation était active |
| CHAOS_BREACHED | Le test a échoué sous l’effet de la perturbation |
| CHAOS_NOT_INJECTED | Le test a réussi, mais aucune perturbation n’a pris effet, par exemple cpu sur Firefox. Ce n’est pas un résultat et il est exclu de tous les taux |
La page des verdicts présente les règles complètes. Les exécutions avec perturbation sont classées dans leur propre dossier de preuves, afin qu’un échec provoqué ne pénalise jamais la stabilité de la suite réelle.
L’état stable, pas seulement les assertions
Un test peut réussir tout en étant beaucoup plus lent sous l’effet de la perturbation. Chaos Lab compare chaque exécution à la durée médiane du même test sur le même navigateur sans perturbation. Une exécution dépassant 2 fois cette durée de référence est signalée comme présentant un écart (la tolérance est NEXUS_CHAOS_TOLERANCE). Les Web Vitals mesurés pendant la perturbation sont également enregistrés. Au fil du temps, chaque test reçoit une étiquette de résilience : RESILIENT à 90% ou plus, TOLERANT à 70%, FRAGILE à 50%, VULNERABLE en dessous.
Défaillances d’infrastructure
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> met volontairement hors service un conteneur Docker enregistré, ou l’application lancée par Nexus, et mesure sa capacité à redémarrer : RESILIENT, DEGRADED ou NOT_RECOVERED. Une autorisation est nécessaire avant toute action, et --restore annule une défaillance laissée active.
Ce qui n’est pas couvert
Les tests d’API s’exécutent sans chaos. Selenium sur Firefox est ignoré en mode chaos, car les tests réussiraient sans qu’aucune défaillance soit injectée. --chaos et --visual ne peuvent pas être combinés.
Questions fréquentes
Dois-je réécrire mes tests pour le chaos ?
Non. La défaillance est appliquée lors de l’exécution de vos tests existants, dans Playwright, ou avec Python et Selenium sur Chromium. Exécutez d’abord chaque test une fois sans défaillance pour établir une référence pour la vérification de l’état stable.
Que signifie CHAOS_NOT_INJECTED ?
Le test a réussi, mais la défaillance n’a jamais pris effet. Par exemple, la limitation du processeur ne fonctionne que dans Chromium. Ce résultat n’est comptabilisé ni comme résilient ni comme défaillant, et ne peut donc ni augmenter ni diminuer un taux.
Le chaos peut-il endommager mon système de production ?
Les défaillances du navigateur agissent sur la page testée, pas sur vos serveurs. Les défaillances d’infrastructure agissent sur les conteneurs que vous enregistrez, nécessitent une autorisation préalable et peuvent être annulées par une restauration. Ne ciblez jamais un système qui ne vous appartient pas.
Un échec en mode chaos compte-t-il comme un bogue ?
Il s’agit d’un constat de résilience, consigné séparément de la suite habituelle. Il ne modifie pas les indicateurs de stabilité des tests réels.
Découvrez ce qui se passe quand les choses tournent mal.
Tout s’exécute sur vos propres machines. Aucune carte bancaire requise.