Passou ou falhou não basta: como 15 veredictos são decididos
Um teste vermelho deveria significar que a aplicação está quebrada. Quando vermelho também pode significar que o DNS falhou, que o site exibiu um CAPTCHA ou que o navegador morreu, a equipe aprende a reexecutar os vermelhos em vez de lê-los, e o defeito real se esconde no ruído. O Nexus StudioQA dá a cada execução um entre 15 veredictos, em vez de dois. Esta página explica como o motor escolhe um deles, na ordem em que decide, e onde o método tem limites.
Última atualização:
Pela equipe do Nexus StudioQA, Verdict System LLC. 7 de outubro de 2026.
Quais são os 15 verdicts?
Os 15 veredictos são SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED e CRASHED. Eles se dividem em cinco grupos: aprovado, aprovado com ressalva, a aplicação falhou, o teste está desatualizado e nenhum veredicto sobre a aplicação porque a falha está no ambiente ou na estrutura de execução dos testes.
| Grupo | Veredictos | Código de saída da CI | É um relatório de bug? |
|---|---|---|---|
| Passou | SECURE, CHAOS_RESILIENT | 0 | No |
| Aprovado com ressalva | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Não, mas o relatório e o Histórico mostram a ressalva |
| A aplicação parou de funcionar | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Sim |
| O teste está desatualizado | TEST_DRIFT | 1 | Sim, no teste: corrija a linha |
| A culpa é do ambiente | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Como o engine decide um verdict?
O engine faz três perguntas, nesta ordem:
- O teste chegou a produzir um resultado?
- Se passou, passou de forma limpa?
- Se falhou, de quem é a culpa: do harness, do ambiente ou da aplicação?
Só uma resposta é um relatório de bug: uma falha que pertence à aplicação. Todas as outras respostas são informação sobre outra coisa, e recebem um nome que deixa isso claro.
Quando um teste não recebe nenhum verdict?
Três estados não estão entre os 15, porque nenhum deles diz algo sobre sua aplicação: SKIPPED (o teste nunca foi executado), INTERRUPTED (Ctrl+C, um limite de --max-failures ou um tempo limite global interrompeu o teste) e CONFIG_ERROR (a estrutura de testes não conseguiu iniciá-lo). Nenhum deles gera uma pasta de evidências ou uma linha no Histórico. Um quarto termo, CHAOS_NOT_INJECTED, funciona da mesma forma: uma execução de caos cuja falha injetada não teve efeito também não é um resultado e não entra no cálculo de nenhuma taxa.
O INTERRUPTED existe por um motivo concreto. Sem ele, um teste interrompido caía no ramo de pass e era registrado como SECURE: um veredicto verde para um teste que nunca terminou.
Como uma aprovação é avaliada?
- SECURE: passou na primeira tentativa, e nada foi reparado.
- AUTO_RECOVER: passou, mas o self-healing precisou substituir um seletor neste teste. O locator que o autor escreveu está morto, e a próxima mudança na página quebra a suíte de verdade, por isso um pass corrigido nunca é reportado como limpo. Corrija o seletor original.
- FLAKY: falhou, depois um retry passou, e nada foi corrigido. Algo está instável, na aplicação ou no teste, e nada foi consertado.
Uma exceção: quando a primeira tentativa falhou apenas por causa do ambiente e a nova tentativa passou, o veredito é SECURE. Isso significa que houve um tempo limite excedido, uma espera do tipo waiting for … to be visible ou um navegador fechado ou que parou de funcionar, sem texto de asserção na falha. Essa aprovação indica latência, não instabilidade.
Como uma falha recebe um verdict?
Quando um teste falha, o motor lê a mensagem de erro e o log de rede da execução e os compara com grupos de padrões em uma ordem fixa. O primeiro grupo que corresponde decide o veredicto, então a ordem faz parte do design.
- CONFIG_ERROR primeiro:
Cannot find module, umReferenceErrorouSyntaxError, uma variável de ambiente ausente, uma fixture que falhou no setup. Se o harness nunca iniciou, qualquer sintoma posterior é consequência disso. Os padrões são deliberadamente restritos, limitados a erros que só o código de teste ou o seu ambiente podem produzir: um CONFIG_ERROR a mais culparia o harness por um bug real na sua aplicação. - CRASHED:
Target closed,Page crashed, um erro do protocolo DevTools,SessionNotCreatedError, um invalid session id. O navegador ou o driver morreu. É infraestrutura: olhe a máquina e o driver. - BLOCKED: um 403 ou um 429 no erro ou no log de rede, um CAPTCHA, uma página de acesso negado ou um desafio anti-bot que o motor reconheceu na tela. O site se defendeu, e a requisição nunca chegou ao seu produto.
- UNREACHABLE: a rede disse não antes de qualquer página ser observada: o nome não foi resolvido (
net::ERR_NAME_NOT_RESOLVEDno Chromium,NS_ERROR_UNKNOWN_HOSTno Firefox,Could not resolve hostnameno WebKit), a conexão foi recusada ou a máquina estava offline. Um erro de certificado não entra aqui: ele é um achado. - TEST_DRIFT: uma etapa que interage com a página (um clique, um preenchimento, uma marcação) aguardou seu localizador, mas ele não encontrou nada em uma página que carregou:
locator.click: Timeoutdo Playwright semlocator resolved tono registro de chamadas, ouNoSuchElementdo Selenium. O endereço do elemento no teste ficou desatualizado, não a aplicação. Uma asserção nunca é TEST_DRIFT: um elemento que uma asserção não consegue encontrar é uma manifestação de um erro real. Isso ainda faz a execução falhar; abra Reparar na linha vermelha. - TIMEOUT: o
Timeout 30000ms exceededdo Playwright, oWait timed out afterdo Selenium, umTimeoutErrorou um teste que o Playwright marcou como esgotado. Uma navegação que esgotou o tempo é um TIMEOUT, não UNREACHABLE: ela começou, e a página estava lenta. - BREACHED_FLAKY: nada acima explica a falha, e o teste já havia sido repetido. Ele falhou, e a própria falha é inconsistente. Compare as tentativas antes de abrir um bug.
- BREACHED: nada acima explica a falha, em uma única tentativa. Uma asserção falhou, e nenhum padrão de ambiente ou de harness justifica o erro. Este é o relatório de bug.
Cada grupo cobre a redação tanto do Playwright quanto do Selenium WebDriver. Antes de os padrões do Selenium existirem, um TimeoutError do WebDriver e um SessionNotCreatedError de um chromedriver desatualizado eram reportados como BREACHED, como se a aplicação tivesse um defeito.
Um celular Android real que não consegue assumir a execução, porque entrou em repouso ou está bloqueado, também é BLOCKED: um pré-requisito não atendido, não uma falha do produto. A regra nasceu de um caso medido. Um celular entrou em repouso no meio de uma campanha, e um teste de login que tinha passado quatro vezes seguidas apareceu como um vermelho crítico.
Como as execuções de caos são julgadas?
Quando a execução injeta falhas do Chaos Lab, o veredito responde a uma pergunta diferente: a aplicação resistiu? Uma aprovação (SECURE, AUTO_RECOVER ou uma aprovação FLAKY obtida em uma nova tentativa) se torna CHAOS_RESILIENT. Uma reprovação se torna CHAOS_BREACHED nas evidências salvas, inclusive quando o tempo limite é excedido, pois, sob uma falha injetada, esse é o impacto; a linha da execução em tempo real ainda pode indicar TIMEOUT quando o tempo se esgotar. SKIPPED, INTERRUPTED e CONFIG_ERROR permanecem como estão: um teste que não foi executado não diz nada sobre resiliência.
Quais verificações rígidas podem alterar uma aprovação?
Três verificações rodam ao lado das suas asserções: cabeçalhos de segurança, acessibilidade com axe-core e orçamentos de desempenho para Web Vitals e lazy loading. Elas registram o que encontram a cada execução. Só mudam o veredicto quando você as torna estritas em Settings. Em uma aplicação existente, qualquer uma delas deixaria a suíte inteira vermelha no primeiro dia, e uma suíte sempre vermelha é uma suíte que ninguém lê.
Quando estão estritas, elas se aplicam apenas a um teste que passou, nesta ordem: SECURITY_VIOLATION, A11Y_VIOLATION, PERFORMANCE_DEGRADED. A segurança vem primeiro porque, das três, é a que pode terminar em um incidente e não em uma reclamação. Um teste que falhou nunca é escalonado: BREACHED já diz algo mais grave, e um aviso por cima esconderia o achado.
O que o CI enxerga?
Os sete vereditos de aprovação retornam o código de saída 0: SECURE, AUTO_RECOVER, FLAKY, CHAOS_RESILIENT, PERFORMANCE_DEGRADED, A11Y_VIOLATION e SECURITY_VIOLATION. Uma ressalva aparece no relatório e no Histórico, sem indicar falha na compilação. Os outros sete retornam o código de saída 1. Os executores do pytest e do Selenium retornam o código de saída 2 quando a execução nem sequer pôde ser iniciada, por exemplo, por falta do Python ou por usar um navegador para o qual o mecanismo não tem um driver. patrol também retorna o código de saída 2 quando todas as execuções em navegadores foram SKIPPED: nada foi executado, portanto isso nunca é considerado uma aprovação.
Quais são os limites do método?
- A classificação lê o texto do erro. Uma mensagem escrita por você que contenha
403,ForbiddenouAccess Deniedé lida como BLOCKED, e um erro que contenhais not a functioné lido como CONFIG_ERROR. Mantenha as mensagens de asserção personalizadas específicas e abra o metadata.json quando um veredicto o surpreender. - Um TIMEOUT não é prova de que a aplicação funciona. Ele diz que a execução não consegue concluir. Um teste que dá timeout em toda execução merece atenção.
- Os retries são o que separa FLAKY de SECURE e BREACHED_FLAKY de BREACHED. Com os retries desativados, uma falha intermitente é um BREACHED.
- Os testes de API têm sete veredictos próprios, decididos por outras regras: veja testes de API.
Onde posso ver um verdict em uma falha real?
A página de evidências acompanha um teste que falhou e lista todos os arquivos que cada veredito deixa no seu disco: report.md, metadata.json, raw-data.json, uma captura de tela e, no caso de uma falha real, o vídeo. O teste gratuito executa o mesmo mecanismo nos seus próprios testes.