Prédiction du risque des tests par l’IA à partir de votre propre historique.
Nexus StudioQA attribue à chaque combinaison de test et de navigateur un score de 0 à 100 indiquant le risque de problème à la prochaine exécution. Une régression logistique écrite en JavaScript pur apprend à partir de l’historique des exécutions sur votre machine. Lorsque l’historique est insuffisant, une moyenne à pondération exponentielle prend le relais. Chaque score est accompagné de la liste des facteurs qui l’expliquent.
Par l’équipe Nexus StudioQA, Verdict System LLC.
Dernière mise à jour : .
Ce qui est analysé
Pour chaque combinaison de test et de navigateur, le prédicteur lit les exécutions dans l’ordre chronologique dans l’historique et construit huit variables à partir des 10 dernières exécutions.
| Fonctionnalité | Ce qui est mesuré |
|---|---|
| fail_rate_5, fail_rate_10 | Proportion d’exécutions problématiques parmi les 5 et les 10 dernières |
| flaky_rate_10 | Proportion d’exécutions ayant nécessité une nouvelle tentative ou ayant été instables |
| alternation | Fréquence à laquelle le résultat bascule entre réussite et échec |
| last_problem | Indique si la dernière exécution a posé problème |
| streak_signed | La série actuelle : positive pour des problèmes consécutifs, négative pour des réussites consécutives |
| duration_cv, duration_drift | L’instabilité de la durée et la comparaison de la dernière exécution à la médiane |
Une exécution problématique porte le statut BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE ou BLOCKED. Les exécutions de tests de chaos sont volontairement exclues, car leurs échecs sont injectés et fausseraient l’apprentissage du modèle.
Le modèle et sa méthode de repli
| Situation | Méthode | Sortie |
|---|---|---|
| Au moins 12 échantillons regroupés, dont au moins 4 avec problème et 4 sans problème | Régression logistique, entraînée sur des fenêtres glissantes regroupant tous les tests et navigateurs | Score de 0 à 100 issu de la probabilité du modèle |
| Moins d’échantillons que ce seuil | Heuristique : 50% de moyenne mobile à pondération exponentielle des problèmes, 20% d’alternance, 20% de taux d’instabilité, 10% d’instabilité de la durée | Score de 0 à 100 |
| Moins de 3 exécutions pour un test | Aucune | Aucune ligne ; le nombre de ces tests est indiqué |
Les scores de 60 ou plus sont ÉLEVÉS, ceux de 30 à 59 sont MOYENS, et les autres sont FAIBLES. Le bloc du modèle indique son exactitude par rapport à une référence fondée sur la classe majoritaire, mesurée par validation croisée avec exclusion d’un échantillon à la fois (en 5 plis au-delà de 200 échantillons), et non sur ses propres données d’entraînement.
Instable, défaillant ou indéterminé
Un test qui échoue à chaque fois est prévisible : il est défaillant, et une nouvelle tentative ne le corrigera pas. Chaque ligne indique donc aussi un profil. Des résultats alternés signalent un test instable, un taux d’échec de 80% ou plus sans alternance signale un test défaillant, et tout autre cas reste indéterminé. Le Studio classe les tests de la même manière, dans trois listes distinctes : non déterministes, défaillants et coût en secondes consacrées aux exécutions en échec. Une paire doit compter au moins 5 exécutions pour que son taux soit considéré comme significatif.
Où il s’exécute et où il apparaît
Il s’exécute avec nexus predict [TC] [--browser b] [--json] [--no-save] et écrit evidence/mlops/flakiness-predictions.json dans votre espace de travail. Le Studio affiche le classement dans l’Evidence Locker. Il n’utilise aucun service externe ni aucune dépendance supplémentaire : l’entraînement se fait en JavaScript pur, de sorte que l’historique ne quitte jamais votre machine.
Questions fréquentes
S’agit-il d’un grand modèle de langage ?
Non. Il s’agit d’une petite régression logistique entraînée sur votre historique d’exécution, en JavaScript pur. Elle est déterministe : le même historique donne les mêmes scores.
Prédit-il un bug dans l’application ?
Il prédit le risque que la prochaine exécution d’un test rencontre un problème, ce qui inclut l’instabilité et les défaillances de l’environnement. Il ne lit pas votre code et n’indique pas ce qui ne va pas.
De quelle quantité d’historique a-t-il besoin ?
Il faut au moins 3 exécutions d’un test pour lui attribuer un score. L’entraînement du modèle nécessite au moins 12 échantillons regroupés, dont au moins 4 avec problème et 4 exécutions sans problème ; avant cela, l’heuristique de moyenne mobile à pondération exponentielle est utilisée.
Pourquoi un score affiche-t-il des facteurs ?
Chaque score présente jusqu’à trois raisons compréhensibles, comme un taux élevé de problèmes lors des dernières exécutions ou une alternance intermittente de réussites et d’échecs, afin de pouvoir vérifier le classement à partir de l’historique.
Découvrez quels tests échoueront ensuite.
Tout s’exécute sur vos propres machines. Aucune carte bancaire requise.