Veredictos forenses de pruebas: 15 resultados en lugar de éxito o fallo.
Los veredictos forenses de pruebas sustituyen el éxito o el fallo por un resultado con nombre que indica a qué se debe. Nexus StudioQA asigna a cada ejecución uno de 15: éxito sin incidencias, éxito con reservas, una aplicación que falla, una prueba desactualizada o un problema del entorno, como un tiempo de espera agotado o un bloqueo de bots. Solo un fallo atribuible a la aplicación genera un informe de error.
Por el equipo de Nexus StudioQA, Verdict System LLC.
Última actualización: .
Los 15 veredictos, por grupo
Los 15 veredictos son SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED y CRASHED.
| Grupo | Veredictos | Código de salida de CI | ¿Es un informe de error? |
|---|---|---|---|
| Aprobado | SECURE, CHAOS_RESILIENT | 0 | No |
| Superada con una reserva | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | No, pero el informe y el Historial muestran la reserva |
| La aplicación falló | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Sí |
| El test quedó desactualizado | TEST_DRIFT | 1 | Sí, contra el test: repara la línea |
| El entorno es el responsable | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Cómo elige uno el motor
Tres preguntas, en orden
¿La prueba llegó a producir un resultado? Si tuvo éxito, ¿lo tuvo sin incidencias? Si falló, ¿a qué se debe: al arnés de pruebas, al entorno o a la aplicación?
Un orden fijo de patrones
Ante un fallo, el motor compara el mensaje de error y el registro de red con grupos de patrones en un orden fijo. El primer grupo que coincide determina el resultado, por lo que el orden forma parte del diseño. Se contemplan tanto los mensajes de Playwright como los de Selenium WebDriver.
No todo recibe un veredicto
SKIPPED, INTERRUPTED y CONFIG_ERROR no están entre los 15, porque ninguno dice nada sobre tu aplicación. No generan ninguna carpeta de evidencias ni ninguna fila en el historial.
Cómo se denomina un fallo del entorno
| Veredicto | Lo que observó el motor | Qué significa |
|---|---|---|
| TIMEOUT | Timeout 30000ms exceeded de Playwright, Wait timed out after de Selenium, un TimeoutError | La ejecución no respondió a tiempo. Una página lenta, no una prueba de que la aplicación falle. |
| UNREACHABLE | Un nombre que no se pudo resolver, una conexión rechazada o un equipo sin conexión, antes de observar ninguna página | No se pudo alcanzar el host. |
| BLOCKED | Un 403 o un 429, un CAPTCHA, una página de acceso denegado o un desafío de detección de bots | El sitio se defendió y la solicitud nunca llegó a tu producto. |
| CRASHED | Target closed, Page crashed, un error del protocolo DevTools, SessionNotCreatedError | El navegador o el controlador dejaron de funcionar: revisa el equipo y el controlador. |
Dónde están las reglas completas
Esta página es el resumen. Cómo se deciden los 15 veredictos detalla las reglas completas, en el orden en que las aplica el motor, junto con las limitaciones del método. El índice de veredictos explica cada veredicto en su propia página.
Preguntas frecuentes
¿Un resultado aprobado con reservas cuenta como aprobado en CI?
Sí. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION y SECURITY_VIOLATION devuelven el código de salida 0, por lo que no hacen fallar la compilación. La reserva aparece en el informe y en el Historial.
¿Un TIMEOUT significa que la aplicación funciona?
No. Un TIMEOUT no demuestra que la aplicación funcione. Indica que la ejecución no permite determinarlo, por lo que no se informa como un error de la aplicación. Una prueba que agota el tiempo de espera en cada ejecución merece una revisión.
¿Pueden las comprobaciones de accesibilidad o seguridad cambiar un veredicto?
Solo si las configuras como estrictas en Configuración. En ese caso, en una prueba aprobada, pueden cambiar el veredicto a SECURITY_VIOLATION, A11Y_VIOLATION o PERFORMANCE_DEGRADED, en ese orden. Nunca se eleva la gravedad de una prueba fallida.
¿Qué fiabilidad tiene la clasificación?
Se basa en el texto del error, por lo que un mensaje de aserción personalizado que contenga 403 o Forbidden puede interpretarse como BLOCKED. Usa mensajes personalizados específicos y abre metadata.json cuando un veredicto te sorprenda.
Ejecútalo en tu propia máquina.
Prueba gratis todas las funciones, en tus propios equipos. Sin tarjeta.