蓄積した履歴に基づく、AIによるテストのリスク予測
Nexus StudioQAは、各テストとブラウザーの組み合わせについて、次回の実行で問題が起きるリスクを0から100のスコアで示します. 外部ライブラリに依存しないJavaScriptで実装されたロジスティック回帰が、お使いの端末上の実行履歴から学習します. 履歴が少なすぎる場合は、指数加重平均に切り替わります. 各スコアには、その根拠となる要因が表示されます.
執筆: Verdict System LLCのNexus StudioQAチーム。
最終更新日: .
分析対象
予測機能は、各テストとブラウザーの組み合わせについて履歴内の実行結果を時系列で読み込み、直近10回の実行から8つの特徴量を作成します.
| 機能 | 測定内容 |
|---|---|
| fail_rate_5, fail_rate_10 | 直近5回および10回の実行で問題が発生した割合 |
| flaky_rate_10 | 再試行が必要だった、または結果が不安定だった実行の割合 |
| alternation | 結果が成功と失敗の間で切り替わる頻度 |
| last_problem | 前回の実行で問題が発生したかどうか |
| streak_signed | 現在の連続回数: 問題の連続は正、成功の連続は負 |
| duration_cv, duration_drift | 実行時間のばらつきと、前回の実行時間の中央値との差 |
問題が発生した実行とは、BREACHED、BREACHED_FLAKY、TEST_DRIFT、TIMEOUT、CRASHED、UNREACHABLE、BLOCKEDのいずれかです. カオステストの実行は意図的に除外しています。失敗が人為的に発生させられているため、モデルが誤った傾向を学習してしまうからです.
モデルと代替手法
| 状況 | 手法 | 出力 |
|---|---|---|
| 集約した標本が12件以上あり、問題ありと問題なしがそれぞれ4件以上 | すべてのテストとブラウザーのデータをまとめ、移動窓を使って学習したロジスティック回帰 | モデルの予測確率に基づく0〜100の点数 |
| 標本数がそれ未満 | 経験則: 問題発生のEWMAを50%、結果の交互変化を20%、不安定率を20%、実行時間の不安定さを10% | 0〜100の点数 |
| テストの実行回数が3回未満 | なし | 行は表示せず、該当するテスト数を報告 |
点数が60以上なら高、30〜59なら中、それ以外は低です。モデル欄には、多数派クラスを予測する基準手法と比較した正解率が表示されます。この正解率は、学習に使ったデータ自体ではなく、一個抜き交差検証(標本数が200を超える場合は5分割交差検証)で測定されます。
不安定、破損、または不明
毎回失敗するテストは結果を予測できます。テストが壊れているため、再試行しても直りません。そのため、各行には結果の傾向も表示されます。成功と失敗が交互に現れる場合は不安定、交互に現れず失敗率が80%以上の場合は破損、それ以外は不明と判定されます。Studioも同じ基準でテストを順位付けし、結果が非決定的なテスト、壊れているテスト、失敗した実行に費やした秒数の3つの一覧に分けて表示します。テストとブラウザーの組み合わせごとの率は、少なくとも5回実行されて初めて、判断の根拠として扱われます。
実行場所と表示場所
nexus predict [TC] [--browser b] [--json] [--no-save]で実行し、作業領域内のevidence/mlops/flakiness-predictions.jsonに書き込みます。StudioではEvidence Lockerに順位が表示されます。外部サービスも追加の依存関係も使いません。学習は通常のJavaScriptで行われるため、履歴が端末の外に出ることはありません。
よくある質問
これは大規模言語モデルですか?
いいえ。実行履歴を使い、通常のJavaScriptで学習する小規模なロジスティック回帰です。決定的に動作するため、同じ履歴からは同じ点数が得られます。
アプリケーションの不具合を予測するのですか?
テストの次回実行時に問題が発生する危険性を予測します。これには、結果の不安定さや環境に起因する失敗も含まれます。コードを読み取ったり、問題の内容を特定したりすることはありません。
どのくらいの履歴が必要ですか?
点数を算出するには、テストを少なくとも3回実行する必要があります。モデルの学習には、集約した標本が12件以上あり、問題のある実行と問題のない実行がそれぞれ4件以上必要です。それまではEWMAに基づく経験則を使います。
点数に要因が表示されるのはなぜですか?
各点数には、直近の実行で問題の発生率が高い、成功と失敗が断続的に現れるなど、理解しやすい理由が最大3つ表示されます。これにより、順位を履歴と照らし合わせて確認できます。