フレーキーテストによってチームにどれだけのコストがかかっていますか?
チームが毎週確認しているフレーキーな失敗の件数、1件あたりの所要時間、エンジニアの時間単価を入力してください。計算ツールがこれらを掛け合わせ、失われているエンジニアの時間と費用を表示します。ブラウザ上で実行され、データが送信されることはありません。
最終更新日:
Nexus StudioQAチーム(Verdict System LLC)による執筆。2026年10月15日。
入力数値
サンプル値です。実際の数値に置き換えてください。
月あたりのエンジニア時間:
月あたりのコスト:
年間コスト:
公表されている数値は何を示していますか?
Google のテストチームは2016年5月に報告しました。それによると、全テスト実行の約1.5%で結果が不安定になり、テストの約16%に何らかの不安定さがあり、観測された成功から失敗への変化の約84%には不安定なテストが関わっていました。チームが確認する赤い実行結果の大半は、新しい不具合ではなくノイズです。
小さな確率でも、テスト群全体では積み重なります。各テストの実行結果が1.5%の確率で不安定になり、それぞれが独立して発生すると仮定すると、N 個のテストからなるテスト群を1回実行した際、不安定さによる失敗が少なくとも1件発生する確率は 1 − 0.985N です:
| テスト群内のテスト数 | 不安定さによる失敗が少なくとも1件ある実行 |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
つまり、テストが100件あると、テスト群を5回実行するうち約4回は、不具合ではない失敗を誰かが確認する必要があります。ただし、失敗率はGoogleと同じとは限りません。自分たちのCI履歴から集計し、週あたりの件数を上の計算機に入力してください。また、実際の不安定なテストの失敗は互いに独立しているわけではなく、共通の原因で複数のテストが同時に失敗することもよくあります。
どのように算出されていますか?
1週間あたりの失敗件数に1件あたりの所要時間(分)を掛け、60で割ることで、1週間あたりの時間(h)が算出されます。これを52倍すると年間時間となり、さらに12で割ると月あたりの時間になります。この時間に1時間あたりのコストを掛けて金額を算出しています。隠れた係数はありません。
例として示されている数値は結果の全体像を示すための概数であり、特定の企業を調査したものではありません。算出結果を信頼する前に、CIの履歴からご自身の失敗件数を数週間分カウントしてください。
限界
- これはトリアージ時間のみをカウントしています。保留されたリリースのコストや、テストスイートの誤検知(オオカミ少年化)によって無視された実際のリリースのバグ、再実行に費やされたCI時間(分)のコストは含まれていません。
- テストの失敗にかかるコストは、ケースごとに異なります。長期的な平均値には、丸一日かかったような少数の失敗が隠れてしまいます。
- ツールによってどれだけのコストを削減できるかを示すものではありません。Nexus StudioQAは、リトライで合格した失敗をFLAKY、実際の欠陥をBREACHEDとしてラベル付けするため、最初に対応すべき場所が分かりますが、節約できる時間はテストスイートの状況によって異なります。
次のステップ
判定がどのように下されるかについてはこのテストはフレーキーなのか、それとも本物のバグなのか?を、クラウドのサブスクリプションとご自身のマシンを比較するにはハードウェアコスト計算ツールをご覧ください。