Vereditos forenses de testes: 15 resultados em vez de aprovação ou reprovação.
Os vereditos forenses de testes substituem a aprovação ou reprovação por um resultado nomeado que indica a quem cabe a responsabilidade. O Nexus StudioQA atribui a cada execução um de 15 vereditos: aprovação sem ressalvas, aprovação com ressalvas, falha na aplicação, teste desatualizado ou problema no ambiente, como tempo limite excedido ou bloqueio de bot. Somente uma falha da aplicação gera um relatório de defeito.
Pela equipe do Nexus StudioQA, Verdict System LLC.
Última atualização: .
Os 15 vereditos, por grupo
Os 15 vereditos são SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED e CRASHED.
| Grupo | Veredictos | Código de saída da CI | É um relatório de bug? |
|---|---|---|---|
| Passou | SECURE, CHAOS_RESILIENT | 0 | No |
| Aprovado com ressalva | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | Não, mas o relatório e o Histórico mostram a ressalva |
| A aplicação parou de funcionar | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Sim |
| O teste está desatualizado | TEST_DRIFT | 1 | Sim, no teste: corrija a linha |
| A culpa é do ambiente | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Como o mecanismo escolhe um deles
Três perguntas, em ordem
O teste chegou a produzir um resultado? Se passou, foi sem ressalvas? Se falhou, de quem é a culpa: da estrutura de testes, do ambiente ou da aplicação?
Uma ordem fixa de padrões
Em caso de falha, o mecanismo compara a mensagem de erro e o registro de rede com grupos de padrões em uma ordem fixa. O primeiro grupo correspondente determina o veredito, por isso a ordem faz parte do projeto. São contempladas as mensagens tanto do Playwright quanto do Selenium WebDriver.
Nem tudo recebe um veredito
SKIPPED, INTERRUPTED e CONFIG_ERROR não estão entre os 15, pois nenhum deles diz algo sobre sua aplicação. Eles não geram pasta de evidências nem linha no Histórico.
Como uma falha de ambiente é nomeada
| Veredicto | O que o mecanismo observou | O que significa |
|---|---|---|
| TIMEOUT | Timeout 30000ms exceeded do Playwright, Wait timed out after do Selenium, um TimeoutError | A execução não respondeu a tempo. Uma página lenta, não uma prova de que a aplicação está com defeito. |
| UNREACHABLE | Um nome que não foi resolvido, uma conexão recusada ou uma máquina desconectada, antes que qualquer página fosse observada | Não foi possível alcançar o host de forma alguma. |
| BLOCKED | Um 403 ou um 429, um CAPTCHA, uma página de acesso negado ou um desafio antibot | O site se defendeu, e a solicitação nem chegou ao seu produto. |
| CRASHED | Target closed, Page crashed, um erro de protocolo do DevTools, SessionNotCreatedError | O navegador ou o driver parou de funcionar: verifique a máquina e o driver. |
Onde estão as regras completas
Esta página é o resumo. Como os 15 vereditos são decididos apresenta as regras completas, na ordem em que o mecanismo as aplica, com as limitações do método. O índice de vereditos explica cada veredito em sua própria página.
Perguntas frequentes
Uma aprovação com ressalva conta como aprovação na CI?
Sim. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION e SECURITY_VIOLATION retornam código de saída 0, portanto não interrompem a compilação. A ressalva aparece no relatório e no Histórico.
Um TIMEOUT significa que a aplicação funciona?
Não. Um TIMEOUT não comprova que a aplicação funciona. Ele indica que a execução não permite concluir, por isso não é relatado como um erro na aplicação. Um teste que excede o tempo limite em todas as execuções merece atenção.
As verificações de acessibilidade ou segurança podem alterar um veredito?
Somente quando você as define como rigorosas nas Configurações. Nesse caso, em um teste aprovado, elas podem transformar o veredito em SECURITY_VIOLATION, A11Y_VIOLATION ou PERFORMANCE_DEGRADED, nessa ordem. Um teste reprovado nunca tem seu veredito agravado.
Qual é a confiabilidade da classificação?
Ela analisa o texto do erro, então uma mensagem de asserção personalizada que contenha 403 ou Forbidden pode ser interpretada como BLOCKED. Use mensagens personalizadas específicas e abra metadata.json quando um veredito surpreender você.
Execute na sua própria máquina.
Experimente todos os recursos gratuitamente, nas suas próprias máquinas. Não precisa de cartão.