Uma ferramenta de testes de caos para seus testes existentes.
O Chaos Lab do Nexus StudioQA injeta uma falha no navegador durante a execução de um dos seus testes: latência de rede, um período sem conexão, uma CPU mais lenta ou uma dependência com falha. A execução termina com CHAOS_RESILIENT se o teste resistiu, CHAOS_BREACHED se não resistiu e CHAOS_NOT_INJECTED quando a falha nunca entrou em efeito, o que não diz nada sobre a resiliência.
Pela equipe do Nexus StudioQA, Verdict System LLC.
Última atualização: .
Os modos de falha
| Modo | O que faz | Padrão |
|---|---|---|
| network | Retém cada requisição por um tempo definido; cerca de 20% recebem algumas centenas de milissegundos a mais | 400 ms |
| offline | Interrompe a rede uma vez, em um momento aleatório nos primeiros 30 segundos | 5000 ms |
| cpu | Reduz a velocidade da CPU em um fator de 4; apenas Chromium | 4x, fixo |
| all | Rede, CPU e desconexão juntos | Valores padrão acima |
| dependency | Responde a uma URL que você especifica com 429, 500, 503, lentidão, travamento ou um corpo de resposta truncado | Definido por você |
Perda de pacotes e pressão de memória podem ser adicionadas a qualquer modo. Uma falha de dependência também monitora tempestades de novas tentativas: mais de 10 requisições à URL com falha em 10 segundos. Você executa uma falha com nexus patrol TC01 --chaos=network, ou pela tela do Chaos Lab.
Como uma execução de caos é avaliada
| Veredicto | Significado |
|---|---|
| CHAOS_RESILIENT | O teste passou com a falha em efeito |
| CHAOS_BREACHED | O teste falhou sob efeito da falha |
| CHAOS_NOT_INJECTED | O teste passou, mas nenhuma falha entrou em efeito, por exemplo cpu no Firefox. Não é um resultado e fica de fora de todas as taxas |
A página de veredictos contém as regras completas. As execuções de caos são arquivadas em uma pasta de evidências própria, para que uma falha injetada nunca conte contra a estabilidade da suíte real.
Estado estável, não apenas asserções
Um teste pode passar e ainda assim ficar muito mais lento sob efeito da falha. O Chaos Lab compara cada execução com a mediana da duração do mesmo teste e navegador sem falha. Uma execução que demora mais de 2 vezes esse valor de referência é marcada como desvio (a tolerância é NEXUS_CHAOS_TOLERANCE). Ele também registra as Web Vitals medidas sob efeito da falha. Com o tempo, cada teste recebe uma classificação de resiliência: RESILIENT com 90% ou mais, TOLERANT com 70%, FRAGILE com 50%, VULNERABLE abaixo disso.
Falhas de infraestrutura
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> interrompe de propósito um contêiner Docker registrado, ou o aplicativo iniciado pelo Nexus, e avalia se ele volta a funcionar: RESILIENT, DEGRADED ou NOT_RECOVERED. Exige autorização antes de agir, e --restore desfaz uma falha que tenha permanecido ativa.
O que não está incluído
Os testes de API são executados sem caos. O Selenium no Firefox é ignorado sob caos, pois passaria sem nenhuma falha aplicada. --chaos e --visual não podem ser combinados.
Perguntas frequentes
Preciso reescrever meus testes para usar caos?
Não. A falha é aplicada durante a execução dos testes que você já tem, no Playwright ou em Python e Selenium no Chromium. Execute cada teste uma vez sem falha antes, para que a verificação do estado estável tenha uma referência.
O que significa CHAOS_NOT_INJECTED?
O teste passou, mas a falha nunca entrou em vigor. Por exemplo, a limitação de CPU funciona apenas no Chromium. O resultado não é contabilizado como resiliente nem como violado, portanto não pode aumentar nem reduzir uma taxa.
O caos pode danificar meu sistema de produção?
As falhas de navegador atuam na página em teste, não nos seus servidores. As falhas de infraestrutura atuam nos contêineres que você registra, exigem autorização prévia e podem ser desfeitas com uma restauração. Não direcione nenhum dos dois tipos a um sistema que não seja seu.
Uma falha sob caos conta como defeito?
É uma constatação sobre resiliência, registrada separadamente da suíte normal. Ela não altera os indicadores de estabilidade dos testes reais.
Descubra o que acontece quando algo dá errado.
Tudo é executado nas suas próprias máquinas. Não é necessário cartão.