Quanto os testes instáveis custam à sua equipe?
Informe quantas falhas instáveis sua equipe analisa por semana, quanto tempo cada uma leva e quanto custa uma hora de engenheiro. A calculadora multiplica esses valores e mostra o tempo de engenharia e o dinheiro que você perde. Ela roda no seu navegador e não envia nada.
Última atualização:
Pela equipe do Nexus StudioQA, Verdict System LLC. 15 de outubro de 2026.
Seus números
Valores de exemplo. Substitua pelos seus.
Tempo de engenharia por mês:
Custo por mês:
Custo por ano:
O que dizem os números publicados?
A equipe de testes do Google relatou em maio de 2016 que cerca de 1,5% de todas as suas execuções de teste apresentaram um resultado instável, que quase 16% dos seus testes tinham alguma instabilidade, e que cerca de 84% das transições de aprovação para falha observadas envolviam um teste instável. A maioria das execuções em vermelho que uma equipe analisa é ruído, não um novo bug.
Uma taxa pequena se acumula ao longo de uma suíte. Se cada execução de teste apresenta instabilidade em 1,5% das vezes e os testes apresentam instabilidade de forma independente, a chance de uma execução da suíte inteira ter pelo menos uma falha por instabilidade é 1 − 0.985N para N testes:
| Testes na suíte | Execuções com pelo menos uma falha por instabilidade |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
Assim, com 100 testes, cerca de quatro em cada cinco execuções da suíte exigem que alguém analise uma falha que não é um defeito. Sua taxa não é a do Google: calcule-a com base no seu próprio histórico de CI e insira a contagem semanal na calculadora acima. As falhas intermitentes reais também não são independentes, pois uma causa comum costuma fazer vários testes falharem ao mesmo tempo.
Como o cálculo é feito?
Falhas por semana vezes minutos por falha, divididos por 60, resultam em horas por semana. Multiplicadas por 52, dão as horas por ano, e dividindo isso por 12 você obtém as horas por mês. Horas vezes o seu custo por hora resultam no valor em dinheiro. Não há nenhum fator oculto.
Os valores de exemplo são números redondos para mostrar o formato do resultado, não uma pesquisa de nenhuma empresa. Conte suas próprias falhas a partir do histórico do seu CI durante algumas semanas antes de confiar no resultado.
Limites
- Ela conta apenas o tempo de triagem. Deixa de fora o custo de um release que ficou esperando, de um bug real que foi ignorado porque a suíte alarma falsamente e dos minutos de CI gastos em novas execuções.
- Seus próprios testes não terão o mesmo custo para cada falha. Uma média longa esconde algumas falhas que levaram um dia.
- Ela não diz quanto uma ferramenta economizaria para você. O Nexus StudioQA rotula como FLAKY uma falha que passou em uma nova tentativa e um defeito real como BREACHED, o que indica por onde começar, mas o tempo que você economiza depende da sua suíte.
Próximos passos
Leia Este teste é instável ou é um bug real? para saber como os veredictos são decididos, ou a calculadora de custo de hardware para comparar uma assinatura de nuvem com uma máquina própria.