Testes de carga e Web Vitals com base em limites.
O Nexus StudioQA executa um cenário de carga a partir de um arquivo JSON ou da tela Carga e o avalia com base nos limites que você definiu antes da execução. Cada execução termina com PASS, OVER_BUDGET, REGRESSED ou UNMEASURED. Nos testes de navegador, os limites de LCP, CLS e INP podem transformar um teste aprovado em PERFORMANCE_DEGRADED quando o modo estrito está ativado.
Pela equipe do Nexus StudioQA, Verdict System LLC.
Última atualização: .
Os quatro vereditos de carga
| Veredicto | Quando |
|---|---|
| PASS | Pelo menos um critério pôde ser verificado e todos foram atendidos |
| OVER_BUDGET | Um critério não foi atendido, ou o modelo aberto não conseguiu iniciar mais de 1% das iterações solicitadas |
| REGRESSED | Dentro dos limites, mas o p95 está acima de 1.25 vezes a mediana do p95 das últimas execuções aprovadas, e pelo menos 25 ms acima dela |
| UNMEASURED | Nada pôde ser verificado: nenhum critério, menos de 5 tentativas, menos de 5 amostras válidas para um p95, ou um limite de Web Vitals que a sonda não conseguiu medir |
A referência para REGRESSED considera o mesmo cenário, alvo, modelo e número de usuários nas últimas 5 execuções aprovadas, sendo necessárias pelo menos 3. Um alvo totalmente indisponível recebe OVER_BUDGET, não UNMEASURED, pois a taxa de erros é avaliada com base nas tentativas. Com strict ativado, OVER_BUDGET e REGRESSED encerram o processo com código de saída 1, permitindo interromper o fluxo de CI.
O que uma execução de carga faz
O cenário define o alvo, as etapas com suas asserções, o tempo de reflexão e um modelo fechado (1 a 5000 usuários) ou aberto (uma taxa de requisições). Usuários virtuais enviam requisições HTTP a partir de threads de trabalho, e o relatório apresenta percentis, vazão e taxa de erros, nunca apenas uma média. Duas medidas de segurança vêm primeiro: você digita AUTHORIZED antes de qualquer envio, e um alvo que não seja esta máquina também exige --yes. Os resultados vão para evidence/load-runs.
Web Vitals
Com --vitals, uma sonda no Chromium do Playwright carrega suas páginas antes, durante e depois da carga e verifica os limites de p75 para LCP, FCP, CLS, TBT e TTFB. O INP não é aceito nesse caso porque a sonda nunca interage com a página. Nos testes de navegador, o mecanismo mede LCP, CLS e INP em cada execução com base nos limites de NEXUS_PERF_LCP, NEXUS_PERF_CLS e NEXUS_PERF_INP. Os limites padrão seguem o web.dev:
| Métrica | Bom até | Ruim acima de |
|---|---|---|
| LCP | 2500 ms | 4000 ms |
| CLS | 0.1 | 0.25 |
| INP | 200 ms | 500 ms |
Esses são números de laboratório obtidos com um carregamento de página automatizado, um sinal de regressão em um perfil fixo, não dados de campo de usuários reais. O INP exige um clique ou uma tecla pressionada, portanto um teste que apenas carrega páginas não tem essa métrica. Ultrapassar um limite só altera um teste para PERFORMANCE_DEGRADED quando NEXUS_PERF_STRICT é verdadeiro; caso contrário, a ocorrência é registrada e exibida no relatório.
No relatório de liberação
O Relatório Executivo conta como falhas as execuções de carga que terminaram com OVER_BUDGET ou REGRESSED, mostra a última execução e adiciona uma recomendação quando a última execução de carga não é PASS nem UNMEASURED.
Perguntas frequentes
O gerador de carga controla navegadores reais?
Não. Os usuários virtuais enviam requisições HTTP, que é como um gerador de carga chega a milhares de usuários. O Chromium do Playwright é usado apenas na sondagem de Web Vitals e nos testes de navegador.
Por que uma execução fica como UNMEASURED em vez de PASS?
Porque nada pôde ser verificado, por exemplo por falta de critérios, amostras insuficientes para um percentil ou um limite de Web Vitals que a sondagem não conseguiu ler. Um limite que ninguém verificou não foi atendido.
Posso fazer testes de carga em qualquer site?
Somente em um sistema que seja seu ou para o qual você tenha permissão por escrito para testar. A ferramenta pede que você digite AUTHORIZED até mesmo para localhost, e um alvo fora desta máquina exige
--yes.Uma página lenta faz meu teste falhar?
Somente no modo estrito. Por padrão, o descumprimento de um limite de desempenho é registrado como um aviso. Com
NEXUS_PERF_STRICT=true, o teste fica como PERFORMANCE_DEGRADED, que ainda retorna código de saída 0 na CI.
Defina limites para a velocidade.
Tudo é executado nas suas próprias máquinas. Não é necessário cartão.