Detección de pruebas inestables que mantiene visible el reintento.
La detección de pruebas inestables distingue una prueba cuyos intentos arrojan resultados distintos de un error real. Nexus StudioQA registra cada reintento de las ejecuciones de Playwright y Selenium: un fallo que se supera al reintentar es FLAKY, un fallo en un único intento es BREACHED y un fallo que es en sí mismo inconsistente es BREACHED_FLAKY. Un reintento nunca convierte un defecto en una ejecución correcta.
Por el equipo de Nexus StudioQA, Verdict System LLC.
Última actualización: .
Tres veredictos, una regla
FLAKY significa que los intentos arrojaron resultados distintos, y nada más. Un fallo en un único intento, sin reintentos, nunca se etiqueta como inestable.
| Veredicto | Intentos | Último intento | Código de salida de CI | Vídeo del fallo |
|---|---|---|---|---|
| FLAKY | Falló y se reintentó | Aprobado | 0 | No |
| BREACHED | Uno | Falló | 1 | Se conserva por defecto |
| BREACHED_FLAKY | Falló y se reintentó | Falló | 1 | Se conserva por defecto |
Cómo se cuentan los reintentos
El número de intento decide
Una prueba superada con un número de reintento mayor que cero es FLAKY, salvo que se haya reparado un selector, en cuyo caso es AUTO_RECOVER. Para superarla sin incidencias, el número de reintento debe ser cero y no debe haber selectores reparados.
Primero, el entorno
Antes de clasificar un fallo como BREACHED o BREACHED_FLAKY, el motor descarta un error de la infraestructura de pruebas, un cierre inesperado, un bloqueo, un servidor inaccesible y un tiempo de espera agotado. Un tiempo de espera agotado o un CAPTCHA no se presentan como un informe de error.
Un primer intento lento no es inestable
Si el primer intento falló solo por el tiempo, un navegador cerrado o una espera de visibilidad, y el reintento se superó, el veredicto es SECURE: eso indica latencia, no inestabilidad.
El recuento se conserva con la ejecución
Cada fila del Historial registra retry_attempt y attempts. Se conserva el archivo raw-data.json del intento fallido, por lo que un reintento que ocultó el fallo sigue dejando su registro.
Detectar una prueba que alterna
Tendencias del Historial
El Historial conserva una fila por ejecución para cada prueba y navegador o dispositivo. Muestra tendencias por sesión, día o semana: Empeoró, Se recuperó, Sigue fallando y Más lenta.
Clasificación por riesgo
La clasificación ordena las pruebas según la frecuencia con la que cambian de resultado, fallan o consumen tiempo, con un riesgo previsto mediante una regresión logística sobre tu historial y una alternativa basada en EWMA cuando hay pocos datos.
Nada se considera inestable con menos de cinco ejecuciones
Con menos de cinco ejecuciones, el Historial y la clasificación de riesgos no identifican ninguna prueba como inestable, porque una o dos ejecuciones no permiten detectar un patrón.
Preguntas frecuentes
¿Los reintentos esconden bugs reales?
Sí pueden, cuando los únicos estados son aprobado y fallido, porque un reintento que pasa convierte una ejecución roja en verde. Nexus StudioQA mantiene visible el reintento: una prueba que falló y luego pasó es FLAKY, no SECURE, y aparece en el informe y en el Historial.
¿Una prueba FLAKY hace fallar la compilación?
No. FLAKY devuelve el código de salida 0 en CI, no crea ninguna incidencia en Jira ni guarda ningún vídeo, pero sigue apareciendo como una prueba aprobada con reservas.
¿Por qué son inestables las pruebas de Playwright?
Causas habituales: datos compartidos o residuales, una espera por el elemento equivocado, un localizador inestable, el entorno o un error real intermitente. Un reintento sirve para detectar una prueba inestable, no para corregirla.
¿FLAKY indica por qué una prueba es inestable?
No. Indica que los intentos dieron resultados distintos. Encontrar la causa en la aplicación o en la prueba sigue siendo tarea de una persona. Con los reintentos desactivados, un fallo intermitente se clasifica como BREACHED.
Ejecútalo en tu propia máquina.
Prueba gratis todas las funciones, en tus propios equipos. Sin tarjeta.