Tus pruebas siguen siendo Playwright, Selenium y pytest. No las reemplazamos. Las hacemos listas para la empresa, y tu código, tu evidencia y tu historial son tuyos.

Predicción del riesgo de las pruebas con IA a partir de tu propio historial.

Nexus StudioQA asigna a cada prueba y navegador una puntuación de 0 a 100 según el riesgo de que su próxima ejecución tenga un problema. Una regresión logística escrita en JavaScript puro aprende del historial de ejecuciones de tu equipo. Cuando el historial es insuficiente, se utiliza una media ponderada exponencialmente. Cada puntuación muestra los factores que la determinan.

Por el equipo de Nexus StudioQA, Verdict System LLC.

Última actualización: .

Qué analiza

Para cada prueba y navegador, el predictor lee las ejecuciones en orden cronológico en el Historial y genera ocho variables a partir de las últimas 10 ejecuciones.

CaracterísticaQué mide
fail_rate_5, fail_rate_10Proporción de ejecuciones con problemas en las últimas 5 y las últimas 10
flaky_rate_10Proporción de ejecuciones que necesitaron un reintento o fueron inestables
alternanciaCon qué frecuencia alterna el resultado entre superado y fallido
last_problemSi la última ejecución tuvo un problema
streak_signedLa racha actual: positiva para problemas consecutivos, negativa para ejecuciones superadas consecutivas
duration_cv, duration_driftLo inestable que es la duración y cómo se compara la última ejecución con la mediana

Una ejecución con problemas es BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE o BLOCKED. Las ejecuciones de caos se excluyen deliberadamente, porque sus fallos se introducen de forma artificial y harían que el modelo aprendiera patrones incorrectos.

El modelo y su alternativa

SituaciónMétodoSalida
Al menos 12 muestras agrupadas, con al menos 4 con problemas y 4 sin problemasRegresión logística, entrenada con ventanas deslizantes de todas las pruebas y navegadores en conjuntoPuntuación de 0 a 100 a partir de la probabilidad del modelo
Menos muestras que esa cantidadHeurística: 50% EWMA de problemas, 20% alternancia, 20% tasa de intermitencia, 10% inestabilidad de la duraciónPuntuación de 0 a 100
Menos de 3 ejecuciones de una pruebaNingunoSin fila; se indica el número de pruebas de este tipo

Las puntuaciones de 60 o más son ALTAS, las de 30 a 59 son MEDIAS, y el resto son BAJAS. El bloque del modelo indica su exactitud frente a una referencia basada en la clase mayoritaria, medida mediante validación cruzada dejando una muestra fuera (de 5 particiones si hay más de 200 muestras), no mediante la exactitud sobre sus propios datos de entrenamiento.

Intermitente, defectuosa o indeterminada

Una prueba que falla siempre es predecible: es defectuosa, y un reintento no la arreglará. Por eso cada fila también incluye un patrón. Los resultados alternantes indican una prueba intermitente, una tasa de fallos del 80% o más sin alternancia indica una prueba defectuosa, y cualquier otro caso es indeterminado. Studio clasifica las pruebas del mismo modo, en tres listas separadas: no deterministas, defectuosas y coste en segundos dedicados a ejecuciones fallidas. Cada par necesita al menos 5 ejecuciones para que su tasa se considere concluyente.

Dónde se ejecuta y dónde aparece

Se ejecuta con nexus predict [TC] [--browser b] [--json] [--no-save] y escribe evidence/mlops/flakiness-predictions.json en tu espacio de trabajo. Studio muestra la clasificación en Evidence Locker. No utiliza servicios externos ni dependencias adicionales: el entrenamiento se realiza en JavaScript puro, por lo que el historial nunca sale de tu equipo.

Preguntas frecuentes

  • ¿Es un modelo de lenguaje de gran tamaño?

    No. Es una pequeña regresión logística entrenada con tu historial de ejecuciones, en JavaScript puro. Es determinista: el mismo historial produce las mismas puntuaciones.

  • ¿Predice un error en la aplicación?

    Predice el riesgo de que la siguiente ejecución de una prueba tenga un problema, lo que incluye la intermitencia y los fallos del entorno. No lee tu código ni indica qué está mal.

  • ¿Cuánto historial necesita?

    Al menos 3 ejecuciones de una prueba para poder puntuarla. Para entrenar el modelo necesita al menos 12 muestras agrupadas con al menos 4 ejecuciones con problemas y 4 sin problemas; antes de eso se utiliza la heurística EWMA.

  • ¿Por qué una puntuación muestra factores?

    Cada puntuación incluye hasta tres motivos fáciles de entender, como una tasa alta de problemas en las últimas ejecuciones o un patrón intermitente de éxitos y fallos, para poder contrastar la clasificación con el historial.

Descubre qué pruebas fallarán a continuación.

Todo se ejecuta en tus propios equipos. No necesitas tarjeta.