Vos tests restent sous Playwright, Selenium et pytest. Nous ne les remplaçons pas. Nous les adaptons aux exigences des entreprises, et vous restez propriétaire de votre code, de vos preuves et de votre historique.

La détection des tests instables qui garde chaque nouvelle tentative visible.

La détection des tests instables distingue un test dont les tentatives donnent des résultats divergents d'un véritable bug. Nexus StudioQA enregistre chaque nouvelle tentative des exécutions Playwright et Selenium : un échec suivi d'une tentative réussie est marqué FLAKY, un échec sur une seule tentative est marqué BREACHED, et un échec lui-même intermittent est marqué BREACHED_FLAKY. Une nouvelle tentative ne transforme jamais un défaut en exécution réussie.

Par l’équipe Nexus StudioQA, Verdict System LLC.

Dernière mise à jour : .

Trois verdicts, une règle

FLAKY signifie que les tentatives ont donné des résultats divergents, et rien d'autre. Un échec sur une seule tentative, sans nouvelle tentative, n'est jamais qualifié d'instable.

VerdictTentativesDernière tentativeCode de sortie CIVidéo de l’échec
FLAKYÉchec, puis nouvelle tentativeRéussi0No
BREACHEDUneÉchec1Conservé par défaut
BREACHED_FLAKYÉchec, puis nouvelle tentativeÉchec1Conservé par défaut

Comment les tentatives de rejeu sont comptabilisées

  • Le numéro de tentative est déterminant

    Un test réussi dont le numéro de nouvelle tentative est supérieur à zéro est marqué FLAKY, sauf si un sélecteur a été réparé, auquel cas il est marqué AUTO_RECOVER. Une réussite sans incident exige un numéro de nouvelle tentative égal à zéro et aucun sélecteur réparé.

  • L'environnement d'abord

    Avant de classer un échec comme BREACHED ou BREACHED_FLAKY, le moteur exclut une erreur du banc de test, un plantage, un blocage, un hôte inaccessible et un dépassement de délai. Un dépassement de délai ou un CAPTCHA ne donne pas lieu à un rapport de bug.

  • Une première tentative lente n'est pas instable

    Lorsque la première tentative a échoué uniquement à cause d'un délai, d'un navigateur fermé ou d'une attente de visibilité, et que la nouvelle tentative a réussi, le verdict est SECURE : cela révèle une latence, pas une instabilité.

  • Le décompte reste associé à l'exécution

    Chaque ligne de l'historique enregistre retry_attempt et attempts. Le fichier raw-data.json de la tentative échouée est conservé, de sorte qu'une nouvelle tentative ayant masqué l'échec laisse tout de même son journal.

Repérer un test qui oscille

  • Tendances de l'historique

    L'historique conserve une ligne par exécution pour chaque test et navigateur ou appareil. Il affiche les tendances par session, jour ou semaine : En régression, Rétabli, Toujours en échec et Plus lent.

  • Classement par risque

    Le classement ordonne les tests selon la fréquence à laquelle ils changent de résultat, échouent ou prennent du temps, avec un risque prédit par régression logistique sur votre historique et un recours à une moyenne mobile à pondération exponentielle (EWMA) lorsque les données sont insuffisantes.

  • Aucun test n'est qualifié d'instable avant cinq exécutions

    En dessous de cinq exécutions, l’historique et le classement des risques ne signalent aucun test comme instable, car une ou deux exécutions ne suffisent pas à dégager une tendance.

Questions fréquentes

  • Les nouvelles tentatives masquent-elles de véritables bugs ?

    C’est possible lorsque les seuls états sont la réussite et l’échec, car une nouvelle tentative réussie fait passer une exécution du rouge au vert. Nexus StudioQA garde cette nouvelle tentative visible : un test qui a échoué puis réussi est FLAKY, et non SECURE, et figure dans le rapport et dans l’historique.

  • Un test FLAKY fait-il échouer la compilation ?

    Non. FLAKY renvoie le code de sortie 0 en CI, ne crée aucun ticket Jira et ne conserve aucune vidéo, mais reste visible comme une réussite avec réserve.

  • Pourquoi les tests Playwright sont-ils instables ?

    Causes habituelles : des données partagées ou résiduelles, une attente portant sur le mauvais élément, un localisateur instable, l’environnement ou un véritable bug intermittent. Une nouvelle tentative permet de repérer un test instable, pas de le corriger.

  • FLAKY indique-t-il pourquoi un test est instable ?

    Non. Il indique que les tentatives ont donné des résultats différents. Trouver la cause dans l’application ou dans le test reste une tâche humaine. Lorsque les nouvelles tentatives sont désactivées, un échec intermittent donne le verdict BREACHED.

Exécutez-le sur votre propre machine.

Essayez gratuitement toutes les fonctionnalités, sur vos propres machines. Aucune carte bancaire requise.