Quais são os 15 veredictos do Nexus StudioQA?
O Nexus StudioQA é um Sistema Operacional de QA on-prem que classifica cada execução em um de 15 veredictos forenses, em vez de aprovado ou reprovado, para que um defeito real seja distinguido de uma rede lenta, um desafio de bot ou um navegador que travou. A tabela mostra, para cada veredicto, o que ele significa, se abre um ticket no Jira e se o vídeo da falha é mantido.
| Veredicto | Tipo | O que significa | Ticket no Jira? | Vídeo? |
|---|---|---|---|---|
| SECURE | Passou | Passou por conta própria: sem nova tentativa, sem seletor reparado. | No | No |
| CHAOS_RESILIENT | Passou | Passou enquanto uma falha era injetada, então o app se manteve firme. | No | No |
| AUTO_RECOVER | Passou, com ressalva | Passou, mas um seletor precisou ser reparado. | No | No |
| FLAKY | Passou, com ressalva | Falhou e, depois, uma nova tentativa passou; nada foi corrigido. | No | No |
| PERFORMANCE_DEGRADED | Passou, com ressalva | As asserções passaram, a página estava lenta demais. | No | No |
| A11Y_VIOLATION | Passou, com ressalva | As asserções passaram, a acessibilidade não. | No | No |
| SECURITY_VIOLATION | Passou, com ressalva | As asserções passaram, uma verificação de segurança não. | No | No |
| BREACHED | Aplicação quebrou | Uma descoberta real: uma asserção falhou e nada no ambiente a explica. | Sim | Sim |
| BREACHED_FLAKY | Aplicação quebrou | Falhou, e a própria falha é inconsistente. | Sim | Sim |
| CHAOS_BREACHED | Aplicação quebrou | Quebrou sob caos injetado. | Sim | Sim |
| TEST_DRIFT | Teste desatualizado | O localizador de uma etapa não encontrou nada em uma página que carregou: o teste ficou desatualizado, não a aplicação. | Sim | No |
| TIMEOUT | Ambiente | Nunca respondeu a tempo, o que não prova que esteja quebrado. | Sim | Opcional, desativado por padrão |
| UNREACHABLE | Ambiente | Não foi possível alcançar o host de forma alguma. | No | No |
| BLOCKED | Ambiente | O site se defendeu com um 403, um 429 ou um desafio de bot. | No | Opcional, desativado por padrão |
| CRASHED | Harness | O navegador ou o processo morreu. | No | No |
Jira e Azure Boards abrem uma issue por teste, e somente quando a integração está ativada. O vídeo segue a configuração Keep failure video for: BREACHED, BREACHED_FLAKY e CHAOS_BREACHED por padrão. Como os 15 verdicts são definidos, e os arquivos que cada um deixa.