Una herramienta de pruebas de caos para tus pruebas actuales.
Chaos Lab de Nexus StudioQA inyecta un fallo en el navegador mientras se ejecuta una de tus pruebas: latencia de red, un período sin conexión, una CPU más lenta o una dependencia que falla. La ejecución termina con CHAOS_RESILIENT si la prueba resistió, CHAOS_BREACHED si no lo hizo y CHAOS_NOT_INJECTED si el fallo nunca llegó a aplicarse, lo que no indica nada sobre la resiliencia.
Por el equipo de Nexus StudioQA, Verdict System LLC.
Última actualización: .
Los modos de fallo
| Modo | Qué hace | Predeterminado |
|---|---|---|
| network | Retiene cada solicitud durante un tiempo determinado; alrededor del 20% se retrasa unos cientos de milisegundos más | 400 ms |
| offline | Corta la conexión una vez, en un momento aleatorio de los primeros 30 segundos | 5000 ms |
| cpu | Ralentiza la CPU por un factor de 4; solo en Chromium | 4x, fijo |
| all | Red, CPU y desconexión a la vez | Valores predeterminados anteriores |
| dependency | Responde a una URL que indiques con 429, 500, 503, lentitud, bloqueo o un cuerpo truncado | Lo defines tú |
La pérdida de paquetes y la presión de memoria se pueden añadir a cualquier modo. Un fallo de dependencia también vigila si hay una tormenta de reintentos: más de 10 solicitudes a la URL afectada en 10 segundos. Puedes ejecutar un fallo con nexus patrol TC01 --chaos=network, o desde la pantalla de Chaos Lab.
Cómo se evalúa una ejecución de caos
| Veredicto | Significado |
|---|---|
| CHAOS_RESILIENT | La prueba se superó con el fallo activo |
| CHAOS_BREACHED | La prueba falló bajo los efectos del fallo |
| CHAOS_NOT_INJECTED | La prueba se superó, pero no se aplicó ningún fallo, por ejemplo cpu en Firefox. No se considera un resultado y se excluye de todas las tasas |
La página de veredictos contiene las reglas completas. Las ejecuciones de caos se guardan en su propia carpeta de evidencias, por lo que un fallo inyectado nunca perjudica la estabilidad del conjunto de pruebas real.
Estado estable, no solo aserciones
Una prueba puede superarse y aun así ser mucho más lenta bajo los efectos del fallo. Chaos Lab compara cada ejecución con la mediana de duración de la misma prueba y navegador sin fallos. Una ejecución que tarde más del doble de ese valor de referencia se marca como desviación (la tolerancia es NEXUS_CHAOS_TOLERANCE). También registra las Web Vitals medidas bajo los efectos del fallo. Con el tiempo, cada prueba recibe una etiqueta de resiliencia: RESILIENT con un 90% o más, TOLERANT con un 70%, FRAGILE con un 50%, VULNERABLE por debajo de ese valor.
Fallos de infraestructura
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> detiene deliberadamente un contenedor Docker registrado, o la aplicación que Nexus inició, y evalúa si se recupera: RESILIENT, DEGRADED o NOT_RECOVERED. Necesita autorización antes de actuar, y --restore revierte un fallo que haya quedado activo.
Qué no cubre
Las pruebas de API se ejecutan sin caos. Selenium en Firefox se omite en las pruebas de caos, porque pasaría sin que se aplicara ningún fallo. --chaos y --visual no se pueden combinar.
Preguntas frecuentes
¿Tengo que reescribir mis pruebas para el caos?
No. El fallo se aplica durante las pruebas que ya tienes, en Playwright, o en Python y Selenium en Chromium. Ejecuta primero cada prueba una vez sin fallos, para que la comprobación del estado estable tenga una referencia.
¿Qué significa CHAOS_NOT_INJECTED?
La prueba pasó, pero el fallo nunca surtió efecto. Por ejemplo, la limitación de CPU solo funciona en Chromium. No se contabiliza como resiliente ni como vulnerada, por lo que no puede aumentar ni reducir ninguna tasa.
¿Puede el caos dañar mi sistema de producción?
Los fallos del navegador actúan sobre la página que se está probando, no sobre tus servidores. Los fallos de infraestructura actúan sobre los contenedores que registras, solicitan autorización previa y se pueden revertir con una restauración. No dirijas ninguno de ellos a un sistema que no te pertenezca.
¿Un fallo en una prueba de caos cuenta como un error?
Es un hallazgo sobre resiliencia, registrado aparte del conjunto de pruebas habitual. No cambia las cifras de estabilidad de las pruebas reales.
Descubre qué pasa cuando las cosas salen mal.
Todo se ejecuta en tus propios equipos. No necesitas tarjeta.