La détection des tests instables qui garde chaque nouvelle tentative visible.
La détection des tests instables distingue un test dont les tentatives donnent des résultats divergents d'un véritable bug. Nexus StudioQA enregistre chaque nouvelle tentative des exécutions Playwright et Selenium : un échec suivi d'une tentative réussie est marqué FLAKY, un échec sur une seule tentative est marqué BREACHED, et un échec lui-même intermittent est marqué BREACHED_FLAKY. Une nouvelle tentative ne transforme jamais un défaut en exécution réussie.
Par l’équipe Nexus StudioQA, Verdict System LLC.
Dernière mise à jour : .
Trois verdicts, une règle
FLAKY signifie que les tentatives ont donné des résultats divergents, et rien d'autre. Un échec sur une seule tentative, sans nouvelle tentative, n'est jamais qualifié d'instable.
| Verdict | Tentatives | Dernière tentative | Code de sortie CI | Vidéo de l’échec |
|---|---|---|---|---|
| FLAKY | Échec, puis nouvelle tentative | Réussi | 0 | No |
| BREACHED | Une | Échec | 1 | Conservé par défaut |
| BREACHED_FLAKY | Échec, puis nouvelle tentative | Échec | 1 | Conservé par défaut |
Comment les tentatives de rejeu sont comptabilisées
Le numéro de tentative est déterminant
Un test réussi dont le numéro de nouvelle tentative est supérieur à zéro est marqué FLAKY, sauf si un sélecteur a été réparé, auquel cas il est marqué AUTO_RECOVER. Une réussite sans incident exige un numéro de nouvelle tentative égal à zéro et aucun sélecteur réparé.
L'environnement d'abord
Avant de classer un échec comme BREACHED ou BREACHED_FLAKY, le moteur exclut une erreur du banc de test, un plantage, un blocage, un hôte inaccessible et un dépassement de délai. Un dépassement de délai ou un CAPTCHA ne donne pas lieu à un rapport de bug.
Une première tentative lente n'est pas instable
Lorsque la première tentative a échoué uniquement à cause d'un délai, d'un navigateur fermé ou d'une attente de visibilité, et que la nouvelle tentative a réussi, le verdict est SECURE : cela révèle une latence, pas une instabilité.
Le décompte reste associé à l'exécution
Chaque ligne de l'historique enregistre retry_attempt et attempts. Le fichier raw-data.json de la tentative échouée est conservé, de sorte qu'une nouvelle tentative ayant masqué l'échec laisse tout de même son journal.
Repérer un test qui oscille
Tendances de l'historique
L'historique conserve une ligne par exécution pour chaque test et navigateur ou appareil. Il affiche les tendances par session, jour ou semaine : En régression, Rétabli, Toujours en échec et Plus lent.
Classement par risque
Le classement ordonne les tests selon la fréquence à laquelle ils changent de résultat, échouent ou prennent du temps, avec un risque prédit par régression logistique sur votre historique et un recours à une moyenne mobile à pondération exponentielle (EWMA) lorsque les données sont insuffisantes.
Aucun test n'est qualifié d'instable avant cinq exécutions
En dessous de cinq exécutions, l’historique et le classement des risques ne signalent aucun test comme instable, car une ou deux exécutions ne suffisent pas à dégager une tendance.
Questions fréquentes
Les nouvelles tentatives masquent-elles de véritables bugs ?
C’est possible lorsque les seuls états sont la réussite et l’échec, car une nouvelle tentative réussie fait passer une exécution du rouge au vert. Nexus StudioQA garde cette nouvelle tentative visible : un test qui a échoué puis réussi est FLAKY, et non SECURE, et figure dans le rapport et dans l’historique.
Un test FLAKY fait-il échouer la compilation ?
Non. FLAKY renvoie le code de sortie 0 en CI, ne crée aucun ticket Jira et ne conserve aucune vidéo, mais reste visible comme une réussite avec réserve.
Pourquoi les tests Playwright sont-ils instables ?
Causes habituelles : des données partagées ou résiduelles, une attente portant sur le mauvais élément, un localisateur instable, l’environnement ou un véritable bug intermittent. Une nouvelle tentative permet de repérer un test instable, pas de le corriger.
FLAKY indique-t-il pourquoi un test est instable ?
Non. Il indique que les tentatives ont donné des résultats différents. Trouver la cause dans l’application ou dans le test reste une tâche humaine. Lorsque les nouvelles tentatives sont désactivées, un échec intermittent donne le verdict BREACHED.
Exécutez-le sur votre propre machine.
Essayez gratuitement toutes les fonctionnalités, sur vos propres machines. Aucune carte bancaire requise.