불안정한 테스트로 팀이 부담하는 비용은 얼마인가요?
팀이 매주 확인하는 불안정한 테스트 실패 건수, 각 건에 걸리는 시간, 엔지니어의 시간당 비용을 입력하세요. 계산기가 이 값들을 곱하여 낭비되는 엔지니어의 시간과 비용을 보여 줍니다. 브라우저에서 실행되며 아무 정보도 전송하지 않습니다.
최종 업데이트:
작성: Nexus StudioQA 팀, Verdict System LLC. 2026년 10월 15일.
입력값
예시 값입니다. 실제 값으로 바꿔 입력하세요.
월간 엔지니어 소요 시간:
월간 비용:
연간 비용:
공개된 수치는 무엇을 말해 주나요?
Google 테스트 팀은 2016년 5월 보고에서 전체 테스트 실행의 약 1.5%에서 결과가 불안정했고, 테스트의 약 16%가 어느 정도 불안정성을 보였으며, 관찰된 통과에서 실패로의 전환 중 약 84%가 불안정한 테스트와 관련되어 있었다고 밝혔습니다. 팀이 확인하는 빨간색 실행 결과는 대부분 새로운 버그가 아니라 잡음입니다.
개별 확률이 작아도 테스트 모음 전체에서는 누적됩니다. 각 테스트 실행이 1.5%의 확률로 불안정한 결과를 내고 각 테스트의 불안정성이 서로 독립적이라면, 테스트 N개로 구성된 전체 모음을 한 번 실행했을 때 불안정성으로 인한 실패가 하나 이상 발생할 확률은 1 − 0.985N입니다:
| 테스트 모음의 테스트 수 | 불안정성으로 인한 실패가 하나 이상 발생한 실행 |
|---|---|
| 20 | 26.1% |
| 50 | 53.0% |
| 100 | 77.9% |
| 200 | 95.1% |
| 500 | 99.9% |
따라서 테스트가 100개라면 테스트 모음 실행 다섯 번 중 약 네 번은 버그가 아닌 실패를 누군가 확인해야 합니다. 여러분의 발생률은 Google과 다릅니다: 자체 CI 기록에서 집계한 다음, 주간 발생 건수를 위 계산기에 입력하세요. 실제로 불안정한 테스트의 실패는 서로 독립적이지도 않습니다. 하나의 공통 원인으로 여러 테스트가 동시에 실패하는 경우가 많기 때문입니다.
어떻게 계산하나요?
주당 실패 건수에 건당 소요 시간(분)을 곱한 뒤 60으로 나누면 주당 소요 시간이 나옵니다. 여기에 52를 곱하면 연간 소요 시간이 되고, 이를 12로 나누면 월간 소요 시간이 됩니다. 소요 시간에 시간당 비용을 곱하면 비용이 나옵니다. 숨겨진 계수는 없습니다.
예시 값은 결과가 어떤 형태인지 보여 주기 위한 어림수이며, 특정 기업을 조사한 결과가 아닙니다. 결과를 신뢰하기 전에 몇 주간의 CI 기록에서 실제 실패 건수를 집계하세요.
한계
- 실패 원인을 분류하는 시간만 계산합니다. 출시 지연 비용, 테스트 모음이 자꾸 잘못된 경고를 보내는 탓에 실제 버그를 무시한 데 따른 비용, 재실행에 소모된 CI 실행 시간 비용은 포함하지 않습니다.
- 실제 테스트에서는 실패 건마다 비용이 다릅니다. 소요 시간의 평균값만 보면 하루가 걸린 일부 실패 사례가 드러나지 않습니다.
- 도구를 사용해 얼마나 절약할 수 있는지를 알려 주는 계산기는 아닙니다. Nexus StudioQA는 재시도에서 통과한 실패에 FLAKY, 실제 결함에 BREACHED 표시를 하여 먼저 살펴볼 곳을 알려 주지만, 절약되는 시간은 테스트 모음에 따라 달라집니다.
다음으로 살펴볼 내용
판정 기준은 이 테스트는 불안정한가요, 아니면 실제 버그인가요?에서 확인하세요. 클라우드 구독과 자체 장비의 비용을 비교하려면 하드웨어 비용 계산기를 이용하세요.