Seus testes continuam em Playwright, Selenium e pytest. Não os substituímos. Nós os preparamos para uso empresarial, e você mantém a propriedade do seu código, das suas evidências e do seu histórico.

Uma ferramenta de testes de caos para seus testes existentes.

O Chaos Lab do Nexus StudioQA injeta uma falha no navegador durante a execução de um dos seus testes: latência de rede, um período sem conexão, uma CPU mais lenta ou uma dependência com falha. A execução termina com CHAOS_RESILIENT se o teste resistiu, CHAOS_BREACHED se não resistiu e CHAOS_NOT_INJECTED quando a falha nunca entrou em efeito, o que não diz nada sobre a resiliência.

Pela equipe do Nexus StudioQA, Verdict System LLC.

Última atualização: .

Os modos de falha

ModoO que fazPadrão
networkRetém cada requisição por um tempo definido; cerca de 20% recebem algumas centenas de milissegundos a mais400 ms
offlineInterrompe a rede uma vez, em um momento aleatório nos primeiros 30 segundos5000 ms
cpuReduz a velocidade da CPU em um fator de 4; apenas Chromium4x, fixo
allRede, CPU e desconexão juntosValores padrão acima
dependencyResponde a uma URL que você especifica com 429, 500, 503, lentidão, travamento ou um corpo de resposta truncadoDefinido por você

Perda de pacotes e pressão de memória podem ser adicionadas a qualquer modo. Uma falha de dependência também monitora tempestades de novas tentativas: mais de 10 requisições à URL com falha em 10 segundos. Você executa uma falha com nexus patrol TC01 --chaos=network, ou pela tela do Chaos Lab.

Como uma execução de caos é avaliada

VeredictoSignificado
CHAOS_RESILIENTO teste passou com a falha em efeito
CHAOS_BREACHEDO teste falhou sob efeito da falha
CHAOS_NOT_INJECTEDO teste passou, mas nenhuma falha entrou em efeito, por exemplo cpu no Firefox. Não é um resultado e fica de fora de todas as taxas

A página de veredictos contém as regras completas. As execuções de caos são arquivadas em uma pasta de evidências própria, para que uma falha injetada nunca conte contra a estabilidade da suíte real.

Estado estável, não apenas asserções

Um teste pode passar e ainda assim ficar muito mais lento sob efeito da falha. O Chaos Lab compara cada execução com a mediana da duração do mesmo teste e navegador sem falha. Uma execução que demora mais de 2 vezes esse valor de referência é marcada como desvio (a tolerância é NEXUS_CHAOS_TOLERANCE). Ele também registra as Web Vitals medidas sob efeito da falha. Com o tempo, cada teste recebe uma classificação de resiliência: RESILIENT com 90% ou mais, TOLERANT com 70%, FRAGILE com 50%, VULNERABLE abaixo disso.

Falhas de infraestrutura

nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> interrompe de propósito um contêiner Docker registrado, ou o aplicativo iniciado pelo Nexus, e avalia se ele volta a funcionar: RESILIENT, DEGRADED ou NOT_RECOVERED. Exige autorização antes de agir, e --restore desfaz uma falha que tenha permanecido ativa.

O que não está incluído

Os testes de API são executados sem caos. O Selenium no Firefox é ignorado sob caos, pois passaria sem nenhuma falha aplicada. --chaos e --visual não podem ser combinados.

Perguntas frequentes

  • Preciso reescrever meus testes para usar caos?

    Não. A falha é aplicada durante a execução dos testes que você já tem, no Playwright ou em Python e Selenium no Chromium. Execute cada teste uma vez sem falha antes, para que a verificação do estado estável tenha uma referência.

  • O que significa CHAOS_NOT_INJECTED?

    O teste passou, mas a falha nunca entrou em vigor. Por exemplo, a limitação de CPU funciona apenas no Chromium. O resultado não é contabilizado como resiliente nem como violado, portanto não pode aumentar nem reduzir uma taxa.

  • O caos pode danificar meu sistema de produção?

    As falhas de navegador atuam na página em teste, não nos seus servidores. As falhas de infraestrutura atuam nos contêineres que você registra, exigem autorização prévia e podem ser desfeitas com uma restauração. Não direcione nenhum dos dois tipos a um sistema que não seja seu.

  • Uma falha sob caos conta como defeito?

    É uma constatação sobre resiliência, registrada separadamente da suíte normal. Ela não altera os indicadores de estabilidade dos testes reais.

Descubra o que acontece quando algo dá errado.

Tudo é executado nas suas próprias máquinas. Não é necessário cartão.