Tus pruebas siguen siendo Playwright, Selenium y pytest. No las reemplazamos. Las hacemos listas para la empresa, y tu código, tu evidencia y tu historial son tuyos.

Pruebas de carga y Web Vitals frente a los límites establecidos.

Nexus StudioQA ejecuta un escenario de carga desde un archivo JSON o la pantalla Carga y lo evalúa frente a los límites que has definido antes de la ejecución. Cada ejecución termina en PASS, OVER_BUDGET, REGRESSED o UNMEASURED. En las pruebas de navegador, los límites de LCP, CLS e INP pueden convertir una prueba aprobada en PERFORMANCE_DEGRADED cuando el modo estricto está activado.

Por el equipo de Nexus StudioQA, Verdict System LLC.

Última actualización: .

Los cuatro veredictos de carga

VeredictoCuándo
PASSSe pudo comprobar al menos un criterio y se cumplieron todos
OVER_BUDGETNo se cumplió un criterio, o el modelo abierto no pudo iniciar más del 1% de las iteraciones solicitadas
REGRESSEDDentro de los límites, pero el p95 supera en más de 1.25 veces la mediana del p95 de las últimas ejecuciones aprobadas, y la supera en al menos 25 ms
UNMEASUREDNo se pudo comprobar nada: no hay criterios, hay menos de 5 intentos, hay menos de 5 muestras válidas para un p95, o hay un límite de Web Vitals que la sonda no pudo medir

La referencia para REGRESSED corresponde al mismo escenario, destino, modelo y número de usuarios, y se calcula con las últimas 5 ejecuciones aprobadas, con un mínimo de 3. Un destino completamente caído se clasifica como OVER_BUDGET, no como UNMEASURED, porque la tasa de errores se evalúa sobre los intentos. Con strict activado, OVER_BUDGET y REGRESSED finalizan el proceso con el código de salida 1, lo que permite detener una canalización.

Qué hace una ejecución de carga

El escenario define el destino, los pasos con sus aserciones, el tiempo de reflexión y un modelo cerrado (de 1 a 5000 usuarios) o un modelo abierto (una tasa de solicitudes). Los usuarios virtuales envían solicitudes HTTP desde hilos de trabajo, y el informe proporciona percentiles, rendimiento y una tasa de errores, nunca solo una media. Antes de empezar se aplican dos medidas de seguridad: debes escribir AUTHORIZED antes de que se envíe nada, y un destino que no sea este equipo también requiere --yes. Los resultados se guardan en evidence/load-runs.

Web Vitals

Con --vitals, una sonda en Playwright Chromium carga tus páginas antes, durante y después de la carga y comprueba los límites del p75 de LCP, FCP, CLS, TBT y TTFB. INP no se admite en este caso porque la sonda nunca interactúa con la página. En las pruebas de navegador, el motor mide LCP, CLS e INP en cada ejecución y los compara con los límites de NEXUS_PERF_LCP, NEXUS_PERF_CLS y NEXUS_PERF_INP. Los umbrales predeterminados siguen las recomendaciones de web.dev:

MétricaBueno hastaDeficiente por encima de
LCP2500 ms4000 ms
CLS0.10.25
INP200 ms500 ms

Son valores de laboratorio obtenidos mediante una carga de página programada, una señal de regresión con un perfil fijo, no datos de campo de usuarios reales. INP necesita un clic o una pulsación de tecla, por lo que una prueba que solo carga páginas no tiene INP. Superar un límite solo cambia el estado de una prueba a PERFORMANCE_DEGRADED cuando NEXUS_PERF_STRICT es true; de lo contrario, se registra y se muestra en el informe.

En el informe de lanzamiento

El informe ejecutivo cuenta como fallidas las ejecuciones de carga que terminaron en OVER_BUDGET o REGRESSED, muestra la última ejecución y añade una recomendación cuando la última ejecución de carga no es PASS ni UNMEASURED.

Preguntas frecuentes

  • ¿El generador de carga controla navegadores reales?

    No. Los usuarios virtuales envían solicitudes HTTP, lo que permite a un generador de carga simular miles de usuarios. Playwright Chromium se utiliza únicamente para la sonda de Web Vitals y las pruebas en navegadores.

  • ¿Por qué una ejecución es UNMEASURED en lugar de PASS?

    Porque no se pudo comprobar nada, por ejemplo por falta de criterios, por muestras insuficientes para un percentil o por un límite de Web Vitals que la sonda no pudo leer. Un límite que nadie comprobó no puede darse por cumplido.

  • ¿Puedo hacer pruebas de carga en cualquier sitio?

    Solo en un sistema que te pertenezca o para el que tengas permiso por escrito para realizar pruebas. La herramienta te pide que escribas AUTHORIZED incluso para localhost, y un destino que no sea esta máquina requiere --yes.

  • ¿Una página lenta hace que falle mi prueba?

    Solo en modo estricto. Por defecto, el incumplimiento de un límite de rendimiento se registra como advertencia. Con NEXUS_PERF_STRICT=true, la prueba pasa a PERFORMANCE_DEGRADED, aunque sigue devolviendo un código de salida 0 en CI.

Fija un límite de velocidad.

Todo se ejecuta en tus propios equipos. No necesitas tarjeta.