¿Cuánto cuestan los tests inestables a tu equipo?
Indica cuántos fallos inestables revisa tu equipo cada semana, cuánto tarda cada uno y cuánto cuesta una hora de ingeniería. La calculadora los multiplica y muestra el tiempo de ingeniería y el dinero que pierdes. Corre en tu navegador y no envía nada.
Última actualización:
Por el equipo de Nexus StudioQA, Verdict System LLC. 15 de octubre de 2026.
Tus números
Valores de ejemplo. Reemplázalos por los tuyos.
Tiempo de ingeniería al mes:
Costo al mes:
Costo al año:
¿Qué dicen las cifras publicadas?
El equipo de pruebas de Google informó en mayo de 2016 de que alrededor del 1.5% de todas sus ejecuciones de pruebas daban un resultado inestable, de que casi el 16% de sus pruebas presentaban cierta inestabilidad y de que aproximadamente el 84% de las transiciones de éxito a fallo observadas implicaban una prueba inestable. La mayoría de las ejecuciones en rojo que revisa un equipo son ruido, no un error nuevo.
Una tasa pequeña se acumula en un conjunto de pruebas. Si cada ejecución de una prueba da un resultado inestable el 1.5% de las veces y las pruebas son inestables de forma independiente, la probabilidad de que una ejecución del conjunto completo tenga al menos un fallo intermitente es 1 − 0.985N para N pruebas:
| Pruebas del conjunto | Ejecuciones con al menos un fallo intermitente |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Así, con 100 pruebas, unas cuatro de cada cinco ejecuciones del conjunto requieren que alguien revise un fallo que no es un error. Tu tasa no es la de Google: calcúlala a partir de tu propio historial de CI y luego introduce el recuento semanal en la calculadora de arriba. Los fallos intermitentes reales tampoco son independientes, ya que una causa compartida suele hacer fallar varias pruebas a la vez.
¿Cómo se calcula?
Fallos por semana por minutos por fallo, dividido entre 60, da las horas por semana. Por 52 da las horas por año, y eso dividido entre 12 da las horas por mes. Las horas por tu costo por hora dan el dinero. No hay ningún factor oculto.
Los valores de ejemplo son números redondos para mostrar la forma del resultado, no una encuesta de ninguna empresa. Cuenta tus propios fallos en el historial de tu CI durante unas semanas antes de fiarte del resultado.
Límites
- Cuenta solo el tiempo de revisión. Deja fuera el costo de un release que esperó, de un bug real que se ignoró porque la suite avisa en falso y de los minutos de CI gastados en repeticiones.
- Tus tests no tendrán el mismo costo en cada fallo. Un promedio largo esconde unos pocos fallos que tomaron un día.
- No dice cuánto te ahorraría una herramienta. Nexus StudioQA marca como FLAKY un fallo que pasó al reintentar y como BREACHED un defecto real, lo que indica dónde mirar primero, pero el tiempo que ahorras depende de tu suite.
Adónde ir después
Lee ¿Este test es inestable o es un bug real? para saber cómo se deciden los veredictos, o la calculadora de costo de hardware para comparar una suscripción en la nube con una máquina propia.