Vos tests restent sous Playwright, Selenium et pytest. Nous ne les remplaçons pas. Nous les adaptons aux exigences des entreprises, et vous restez propriétaire de votre code, de vos preuves et de votre historique.

Tests de charge et Web Vitals selon un budget défini.

Nexus StudioQA exécute un scénario de charge depuis un fichier JSON ou l’écran de charge et l’évalue selon les budgets que vous avez définis avant l’exécution. Chaque exécution se termine par PASS, OVER_BUDGET, REGRESSED ou UNMEASURED. Dans les tests de navigateur, les budgets LCP, CLS et INP peuvent faire passer un test réussi à PERFORMANCE_DEGRADED lorsque le mode strict est activé.

Par l’équipe Nexus StudioQA, Verdict System LLC.

Dernière mise à jour : .

Les quatre verdicts de charge

VerdictQuand
PASSAu moins un critère a pu être vérifié et tous ont été respectés
OVER_BUDGETUn critère n’a pas été respecté, ou le modèle ouvert n’a pas pu démarrer plus de 1% des itérations demandées
REGRESSEDLe budget est respecté, mais le p95 dépasse de plus de 25 ms le p95 médian des dernières exécutions réussies, tout en étant supérieur à 1.25 fois cette médiane
UNMEASUREDRien n’a pu être vérifié : aucun critère, moins de 5 tentatives, moins de 5 échantillons valides pour un p95, ou un budget Web Vitals que la sonde n’a pas pu mesurer

La référence pour REGRESSED porte sur les 5 dernières exécutions réussies du même scénario, avec la même cible, le même modèle et le même nombre d’utilisateurs, et nécessite au moins 3 exécutions. Une cible totalement indisponible donne OVER_BUDGET, et non UNMEASURED, car le taux d’erreur est évalué sur les tentatives. Lorsque strict est activé, OVER_BUDGET et REGRESSED terminent le processus avec le code de sortie 1, ce qui permet d’arrêter un pipeline.

Ce que fait une exécution de charge

Le scénario définit la cible, les étapes et leurs assertions, le temps de réflexion et soit un modèle fermé (1 à 5000 utilisateurs), soit un modèle ouvert (un débit de requêtes). Les utilisateurs virtuels envoient des requêtes HTTP depuis des threads de travail, et le rapport fournit des percentiles, un débit et un taux d’erreur, jamais une simple moyenne. Deux garde-fous s’appliquent au préalable : vous devez saisir AUTHORIZED avant tout envoi, et une cible autre que cette machine nécessite aussi --yes. Les résultats sont enregistrés dans evidence/load-runs.

Web Vitals

Avec --vitals, une sonde dans Playwright Chromium charge vos pages avant, pendant et après la charge et vérifie les budgets au p75 pour LCP, FCP, CLS, TBT et TTFB. INP y est refusé, car la sonde n’interagit jamais avec la page. Dans les tests de navigateur, le moteur mesure LCP, CLS et INP à chaque exécution selon les budgets définis par NEXUS_PERF_LCP, NEXUS_PERF_CLS et NEXUS_PERF_INP. Les seuils par défaut suivent les recommandations de web.dev :

MétriqueBon jusqu’àMauvais au-delà de
LCP2500 ms4000 ms
CLS0.10.25
INP200 ms500 ms

Ce sont des mesures en laboratoire issues d’un chargement de page scripté, un signal de régression sur un profil fixe, et non des données de terrain provenant d’utilisateurs réels. INP nécessite un clic ou une frappe au clavier : un test qui se contente de charger des pages n’en produit donc pas. Un dépassement de budget ne fait passer un test à PERFORMANCE_DEGRADED que lorsque NEXUS_PERF_STRICT vaut true ; sinon, il est enregistré et affiché dans le rapport.

Dans le rapport de mise en production

Le rapport de synthèse comptabilise comme des échecs les exécutions de charge terminées avec le statut OVER_BUDGET ou REGRESSED, affiche la dernière exécution et ajoute une recommandation lorsque la dernière exécution de charge n'a pas le statut PASS ou UNMEASURED.

Questions fréquentes

  • Le générateur de charge pilote-t-il de vrais navigateurs ?

    Non. Les utilisateurs virtuels envoient des requêtes HTTP, ce qui permet à un générateur de charge de simuler des milliers d'utilisateurs. Playwright Chromium est utilisé uniquement pour la sonde Web Vitals et les tests dans le navigateur.

  • Pourquoi une exécution reçoit-elle le statut UNMEASURED plutôt que PASS ?

    Parce qu'aucune vérification n'a pu être effectuée, par exemple en l'absence de critères, faute d'échantillons suffisants pour un percentile, ou parce que la sonde n'a pas pu lire une métrique soumise à un budget Web Vitals. Un budget que personne n'a vérifié n'est pas un budget respecté.

  • Puis-je effectuer un test de charge sur n'importe quel site ?

    Uniquement sur un système qui vous appartient ou pour lequel vous disposez d'une autorisation écrite de test. L'outil vous demande de saisir AUTHORIZED même pour localhost, et une cible autre que cette machine nécessite --yes.

  • Une page lente fait-elle échouer mon test ?

    Uniquement en mode strict. Par défaut, le non-respect d'un budget de performance est consigné à titre indicatif. Avec NEXUS_PERF_STRICT=true, le test reçoit le statut PERFORMANCE_DEGRADED, qui renvoie toujours un code de sortie 0 en intégration continue.

Fixez un budget de performance.

Tout s’exécute sur vos propres machines. Aucune carte bancaire requise.