Tus pruebas siguen siendo Playwright, Selenium y pytest. No las reemplazamos. Las hacemos listas para la empresa, y tu código, tu evidencia y tu historial son tuyos.

Veredictos forenses de pruebas: 15 resultados en lugar de éxito o fallo.

Los veredictos forenses de pruebas sustituyen el éxito o el fallo por un resultado con nombre que indica a qué se debe. Nexus StudioQA asigna a cada ejecución uno de 15: éxito sin incidencias, éxito con reservas, una aplicación que falla, una prueba desactualizada o un problema del entorno, como un tiempo de espera agotado o un bloqueo de bots. Solo un fallo atribuible a la aplicación genera un informe de error.

Por el equipo de Nexus StudioQA, Verdict System LLC.

Última actualización: .

Los 15 veredictos, por grupo

Los 15 veredictos son SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED y CRASHED.

GrupoVeredictosCódigo de salida de CI¿Es un informe de error?
AprobadoSECURE, CHAOS_RESILIENT0No
Superada con una reservaAUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0No, pero el informe y el Historial muestran la reserva
La aplicación fallóBREACHED, BREACHED_FLAKY, CHAOS_BREACHED1Sí
El test quedó desactualizadoTEST_DRIFT1Sí, contra el test: repara la línea
El entorno es el responsableTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

Cómo elige uno el motor

  • Tres preguntas, en orden

    ¿La prueba llegó a producir un resultado? Si tuvo éxito, ¿lo tuvo sin incidencias? Si falló, ¿a qué se debe: al arnés de pruebas, al entorno o a la aplicación?

  • Un orden fijo de patrones

    Ante un fallo, el motor compara el mensaje de error y el registro de red con grupos de patrones en un orden fijo. El primer grupo que coincide determina el resultado, por lo que el orden forma parte del diseño. Se contemplan tanto los mensajes de Playwright como los de Selenium WebDriver.

  • No todo recibe un veredicto

    SKIPPED, INTERRUPTED y CONFIG_ERROR no están entre los 15, porque ninguno dice nada sobre tu aplicación. No generan ninguna carpeta de evidencias ni ninguna fila en el historial.

Cómo se denomina un fallo del entorno

VeredictoLo que observó el motorQué significa
TIMEOUTTimeout 30000ms exceeded de Playwright, Wait timed out after de Selenium, un TimeoutErrorLa ejecución no respondió a tiempo. Una página lenta, no una prueba de que la aplicación falle.
UNREACHABLEUn nombre que no se pudo resolver, una conexión rechazada o un equipo sin conexión, antes de observar ninguna páginaNo se pudo alcanzar el host.
BLOCKEDUn 403 o un 429, un CAPTCHA, una página de acceso denegado o un desafío de detección de botsEl sitio se defendió y la solicitud nunca llegó a tu producto.
CRASHEDTarget closed, Page crashed, un error del protocolo DevTools, SessionNotCreatedErrorEl navegador o el controlador dejaron de funcionar: revisa el equipo y el controlador.

Dónde están las reglas completas

Esta página es el resumen. Cómo se deciden los 15 veredictos detalla las reglas completas, en el orden en que las aplica el motor, junto con las limitaciones del método. El índice de veredictos explica cada veredicto en su propia página.

Preguntas frecuentes

  • ¿Un resultado aprobado con reservas cuenta como aprobado en CI?

    Sí. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION y SECURITY_VIOLATION devuelven el código de salida 0, por lo que no hacen fallar la compilación. La reserva aparece en el informe y en el Historial.

  • ¿Un TIMEOUT significa que la aplicación funciona?

    No. Un TIMEOUT no demuestra que la aplicación funcione. Indica que la ejecución no permite determinarlo, por lo que no se informa como un error de la aplicación. Una prueba que agota el tiempo de espera en cada ejecución merece una revisión.

  • ¿Pueden las comprobaciones de accesibilidad o seguridad cambiar un veredicto?

    Solo si las configuras como estrictas en Configuración. En ese caso, en una prueba aprobada, pueden cambiar el veredicto a SECURITY_VIOLATION, A11Y_VIOLATION o PERFORMANCE_DEGRADED, en ese orden. Nunca se eleva la gravedad de una prueba fallida.

  • ¿Qué fiabilidad tiene la clasificación?

    Se basa en el texto del error, por lo que un mensaje de aserción personalizado que contenga 403 o Forbidden puede interpretarse como BLOCKED. Usa mensajes personalizados específicos y abre metadata.json cuando un veredicto te sorprenda.

Ejecútalo en tu propia máquina.

Prueba gratis todas las funciones, en tus propios equipos. Sin tarjeta.