Seus testes continuam em Playwright, Selenium e pytest. Não os substituímos. Nós os preparamos para uso empresarial, e você mantém a propriedade do seu código, das suas evidências e do seu histórico.

Vereditos forenses de testes: 15 resultados em vez de aprovação ou reprovação.

Os vereditos forenses de testes substituem a aprovação ou reprovação por um resultado nomeado que indica a quem cabe a responsabilidade. O Nexus StudioQA atribui a cada execução um de 15 vereditos: aprovação sem ressalvas, aprovação com ressalvas, falha na aplicação, teste desatualizado ou problema no ambiente, como tempo limite excedido ou bloqueio de bot. Somente uma falha da aplicação gera um relatório de defeito.

Pela equipe do Nexus StudioQA, Verdict System LLC.

Última atualização: .

Os 15 vereditos, por grupo

Os 15 vereditos são SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED e CRASHED.

GrupoVeredictosCódigo de saída da CIÉ um relatório de bug?
PassouSECURE, CHAOS_RESILIENT0No
Aprovado com ressalvaAUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0Não, mas o relatório e o Histórico mostram a ressalva
A aplicação parou de funcionarBREACHED, BREACHED_FLAKY, CHAOS_BREACHED1Sim
O teste está desatualizadoTEST_DRIFT1Sim, no teste: corrija a linha
A culpa é do ambienteTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

Como o mecanismo escolhe um deles

  • Três perguntas, em ordem

    O teste chegou a produzir um resultado? Se passou, foi sem ressalvas? Se falhou, de quem é a culpa: da estrutura de testes, do ambiente ou da aplicação?

  • Uma ordem fixa de padrões

    Em caso de falha, o mecanismo compara a mensagem de erro e o registro de rede com grupos de padrões em uma ordem fixa. O primeiro grupo correspondente determina o veredito, por isso a ordem faz parte do projeto. São contempladas as mensagens tanto do Playwright quanto do Selenium WebDriver.

  • Nem tudo recebe um veredito

    SKIPPED, INTERRUPTED e CONFIG_ERROR não estão entre os 15, pois nenhum deles diz algo sobre sua aplicação. Eles não geram pasta de evidências nem linha no Histórico.

Como uma falha de ambiente é nomeada

VeredictoO que o mecanismo observouO que significa
TIMEOUTTimeout 30000ms exceeded do Playwright, Wait timed out after do Selenium, um TimeoutErrorA execução não respondeu a tempo. Uma página lenta, não uma prova de que a aplicação está com defeito.
UNREACHABLEUm nome que não foi resolvido, uma conexão recusada ou uma máquina desconectada, antes que qualquer página fosse observadaNão foi possível alcançar o host de forma alguma.
BLOCKEDUm 403 ou um 429, um CAPTCHA, uma página de acesso negado ou um desafio antibotO site se defendeu, e a solicitação nem chegou ao seu produto.
CRASHEDTarget closed, Page crashed, um erro de protocolo do DevTools, SessionNotCreatedErrorO navegador ou o driver parou de funcionar: verifique a máquina e o driver.

Onde estão as regras completas

Esta página é o resumo. Como os 15 vereditos são decididos apresenta as regras completas, na ordem em que o mecanismo as aplica, com as limitações do método. O índice de vereditos explica cada veredito em sua própria página.

Perguntas frequentes

  • Uma aprovação com ressalva conta como aprovação na CI?

    Sim. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION e SECURITY_VIOLATION retornam código de saída 0, portanto não interrompem a compilação. A ressalva aparece no relatório e no Histórico.

  • Um TIMEOUT significa que a aplicação funciona?

    Não. Um TIMEOUT não comprova que a aplicação funciona. Ele indica que a execução não permite concluir, por isso não é relatado como um erro na aplicação. Um teste que excede o tempo limite em todas as execuções merece atenção.

  • As verificações de acessibilidade ou segurança podem alterar um veredito?

    Somente quando você as define como rigorosas nas Configurações. Nesse caso, em um teste aprovado, elas podem transformar o veredito em SECURITY_VIOLATION, A11Y_VIOLATION ou PERFORMANCE_DEGRADED, nessa ordem. Um teste reprovado nunca tem seu veredito agravado.

  • Qual é a confiabilidade da classificação?

    Ela analisa o texto do erro, então uma mensagem de asserção personalizada que contenha 403 ou Forbidden pode ser interpretada como BLOCKED. Use mensagens personalizadas específicas e abra metadata.json quando um veredito surpreender você.

Execute na sua própria máquina.

Experimente todos os recursos gratuitamente, nas suas próprias máquinas. Não precisa de cartão.