Predicción del riesgo de las pruebas con IA a partir de tu propio historial.
Nexus StudioQA asigna a cada prueba y navegador una puntuación de 0 a 100 según el riesgo de que su próxima ejecución tenga un problema. Una regresión logística escrita en JavaScript puro aprende del historial de ejecuciones de tu equipo. Cuando el historial es insuficiente, se utiliza una media ponderada exponencialmente. Cada puntuación muestra los factores que la determinan.
Por el equipo de Nexus StudioQA, Verdict System LLC.
Última actualización: .
Qué analiza
Para cada prueba y navegador, el predictor lee las ejecuciones en orden cronológico en el Historial y genera ocho variables a partir de las últimas 10 ejecuciones.
| Característica | Qué mide |
|---|---|
| fail_rate_5, fail_rate_10 | Proporción de ejecuciones con problemas en las últimas 5 y las últimas 10 |
| flaky_rate_10 | Proporción de ejecuciones que necesitaron un reintento o fueron inestables |
| alternancia | Con qué frecuencia alterna el resultado entre superado y fallido |
| last_problem | Si la última ejecución tuvo un problema |
| streak_signed | La racha actual: positiva para problemas consecutivos, negativa para ejecuciones superadas consecutivas |
| duration_cv, duration_drift | Lo inestable que es la duración y cómo se compara la última ejecución con la mediana |
Una ejecución con problemas es BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE o BLOCKED. Las ejecuciones de caos se excluyen deliberadamente, porque sus fallos se introducen de forma artificial y harían que el modelo aprendiera patrones incorrectos.
El modelo y su alternativa
| Situación | Método | Salida |
|---|---|---|
| Al menos 12 muestras agrupadas, con al menos 4 con problemas y 4 sin problemas | Regresión logística, entrenada con ventanas deslizantes de todas las pruebas y navegadores en conjunto | Puntuación de 0 a 100 a partir de la probabilidad del modelo |
| Menos muestras que esa cantidad | Heurística: 50% EWMA de problemas, 20% alternancia, 20% tasa de intermitencia, 10% inestabilidad de la duración | Puntuación de 0 a 100 |
| Menos de 3 ejecuciones de una prueba | Ninguno | Sin fila; se indica el número de pruebas de este tipo |
Las puntuaciones de 60 o más son ALTAS, las de 30 a 59 son MEDIAS, y el resto son BAJAS. El bloque del modelo indica su exactitud frente a una referencia basada en la clase mayoritaria, medida mediante validación cruzada dejando una muestra fuera (de 5 particiones si hay más de 200 muestras), no mediante la exactitud sobre sus propios datos de entrenamiento.
Intermitente, defectuosa o indeterminada
Una prueba que falla siempre es predecible: es defectuosa, y un reintento no la arreglará. Por eso cada fila también incluye un patrón. Los resultados alternantes indican una prueba intermitente, una tasa de fallos del 80% o más sin alternancia indica una prueba defectuosa, y cualquier otro caso es indeterminado. Studio clasifica las pruebas del mismo modo, en tres listas separadas: no deterministas, defectuosas y coste en segundos dedicados a ejecuciones fallidas. Cada par necesita al menos 5 ejecuciones para que su tasa se considere concluyente.
Dónde se ejecuta y dónde aparece
Se ejecuta con nexus predict [TC] [--browser b] [--json] [--no-save] y escribe evidence/mlops/flakiness-predictions.json en tu espacio de trabajo. Studio muestra la clasificación en Evidence Locker. No utiliza servicios externos ni dependencias adicionales: el entrenamiento se realiza en JavaScript puro, por lo que el historial nunca sale de tu equipo.
Preguntas frecuentes
¿Es un modelo de lenguaje de gran tamaño?
No. Es una pequeña regresión logística entrenada con tu historial de ejecuciones, en JavaScript puro. Es determinista: el mismo historial produce las mismas puntuaciones.
¿Predice un error en la aplicación?
Predice el riesgo de que la siguiente ejecución de una prueba tenga un problema, lo que incluye la intermitencia y los fallos del entorno. No lee tu código ni indica qué está mal.
¿Cuánto historial necesita?
Al menos 3 ejecuciones de una prueba para poder puntuarla. Para entrenar el modelo necesita al menos 12 muestras agrupadas con al menos 4 ejecuciones con problemas y 4 sin problemas; antes de eso se utiliza la heurística EWMA.
¿Por qué una puntuación muestra factores?
Cada puntuación incluye hasta tres motivos fáciles de entender, como una tasa alta de problemas en las últimas ejecuciones o un patrón intermitente de éxitos y fallos, para poder contrastar la clasificación con el historial.
Descubre qué pruebas fallarán a continuación.
Todo se ejecuta en tus propios equipos. No necesitas tarjeta.