테스트 실행 결과에 따른 Go/No-Go 릴리스 결정
Nexus StudioQA 경영진 보고서는 테스트 이력을 바탕으로 출시 결정을 내립니다. 전체 테스트의 안정성 점수 평균을 구한 뒤, 점수가 90 이상이고 미해결 실패가 없으면 진행, 점수가 70 이상이면 주의, 그 미만이면 보류로 판정합니다. 보고서에는 각 기준과 측정값이 표시됩니다.
작성: Verdict System LLC의 Nexus StudioQA 팀.
최종 업데이트: .
정확한 판정 규칙
| 결정 | 규칙 | 보고서 문구 |
|---|---|---|
| Go | 신뢰도 점수 90 이상 그리고 미해결 실패 없음 | 출시: 진행 |
| 주의 | 진행 조건을 충족하지 못하고 신뢰도 점수가 70 이상인 경우 | 출시: 주의 |
| No-Go | 신뢰도 점수 70 미만 | 출시: 보류 |
기준값 90과 70은 설정값이 아니라 보고서 코드에 고정된 숫자입니다. 표지와 요약에는 세 가지 기준과 각각의 측정값이 표시되므로, 보류 판정 시 빨간색으로만 표시하는 것이 아니라 어떤 기준을 충족하지 못했는지 알려 줍니다.
점수 산출 방식
각 테스트에는 이력에 따라 안정성 등급이 부여됩니다. 신뢰도 점수는 해당 등급별 점수의 평균을 반올림한 값입니다.
| 등급 | 점수 | 이력에서 해당 등급을 부여하는 조건 |
|---|---|---|
| STABLE | 100 | 통과율 90% 이상이고 결과 불안정 비율 5% 미만 |
| UNSTABLE | 70 | 통과율 70% 이상 |
| FLAKY | 40 | 통과율이 그 미만이고 결과 불안정 비율 15% 이상 |
| CRITICAL | 0 | 그 외 모든 항목 |
불안정한 실행은 통과가 아닌 불안정으로 집계되므로, 재시도해야만 통과하는 테스트는 점수를 낮춥니다. 미해결 실패는 증거 폴더의 실패 기록 중 오탐으로 배제되지 않았고 이후 수정되지도 않은 기록입니다.
경영진 보고서에 포함되는 내용
보고서는 사용자 컴퓨터의 증거를 바탕으로 생성되며 HTML로 열리고, PDF로 내보낼 수 있습니다. 이전 기간과 비교하는 경영진 요약, 일별 추이, 심각도순 위험 목록, 영역별 검증 범위, 미해결 실패와 근본 원인, 테스트 안정성, 소요 시간과 오류 범주, 권장 사항, 승인 페이지 및 부록이 포함됩니다. 보고 범위는 최근 7일, 30일 또는 90일, 전체 이력 또는 특정 날짜 범위로 지정할 수 있습니다.
자주 묻는 질문
기준값 90과 70을 변경할 수 있나요?
아니요. 이 값은 보고서 코드에 고정되어 있습니다. 사용자가 조정할 수 있는 것은 보고서의 대상 기간과 오탐으로 배제할 실패 항목입니다.
미해결 실패가 하나라도 있으면 진행 가능 판정을 받을 수 없나요?
네. 진행 가능 판정을 받으려면 점수가 90 이상이고 미해결 실패가 없어야 합니다. 미해결 실패가 하나 있으면 점수가 70 이상이더라도 받을 수 있는 최선의 판정은 주의입니다.
보고서에 인터넷 연결이 필요한가요?
아니요. 보고서는 사용자 컴퓨터에 있는 테스트, 결과 및 증거를 바탕으로 생성됩니다. Studio가 자체적으로 연결하는 경우는 라이선스를 확인할 때뿐입니다.
이 판정이 담당자의 승인을 대신하나요?
아니요. 판단을 돕는 자료입니다. 보고서에는 의사 결정자를 위한 승인 페이지가 있으며, 권장 사항에는 출시 전에 확인할 항목이 나열됩니다.