테스트는 계속 Playwright, Selenium 및 pytest를 사용합니다. 저희는 이를 대체하지 않습니다. 기업 환경에서 사용할 수 있도록 개선하며, 코드, 증빙 자료 및 이력의 소유권은 고객에게 있습니다.

테스트 실행 결과에 따른 Go/No-Go 릴리스 결정

Nexus StudioQA 경영진 보고서는 테스트 이력을 바탕으로 출시 결정을 내립니다. 전체 테스트의 안정성 점수 평균을 구한 뒤, 점수가 90 이상이고 미해결 실패가 없으면 진행, 점수가 70 이상이면 주의, 그 미만이면 보류로 판정합니다. 보고서에는 각 기준과 측정값이 표시됩니다.

작성: Verdict System LLC의 Nexus StudioQA 팀.

최종 업데이트: .

정확한 판정 규칙

결정규칙보고서 문구
Go신뢰도 점수 90 이상 그리고 미해결 실패 없음출시: 진행
주의진행 조건을 충족하지 못하고 신뢰도 점수가 70 이상인 경우출시: 주의
No-Go신뢰도 점수 70 미만출시: 보류

기준값 90과 70은 설정값이 아니라 보고서 코드에 고정된 숫자입니다. 표지와 요약에는 세 가지 기준과 각각의 측정값이 표시되므로, 보류 판정 시 빨간색으로만 표시하는 것이 아니라 어떤 기준을 충족하지 못했는지 알려 줍니다.

점수 산출 방식

각 테스트에는 이력에 따라 안정성 등급이 부여됩니다. 신뢰도 점수는 해당 등급별 점수의 평균을 반올림한 값입니다.

등급점수이력에서 해당 등급을 부여하는 조건
STABLE100통과율 90% 이상이고 결과 불안정 비율 5% 미만
UNSTABLE70통과율 70% 이상
FLAKY40통과율이 그 미만이고 결과 불안정 비율 15% 이상
CRITICAL0그 외 모든 항목

불안정한 실행은 통과가 아닌 불안정으로 집계되므로, 재시도해야만 통과하는 테스트는 점수를 낮춥니다. 미해결 실패는 증거 폴더의 실패 기록 중 오탐으로 배제되지 않았고 이후 수정되지도 않은 기록입니다.

경영진 보고서에 포함되는 내용

보고서는 사용자 컴퓨터의 증거를 바탕으로 생성되며 HTML로 열리고, PDF로 내보낼 수 있습니다. 이전 기간과 비교하는 경영진 요약, 일별 추이, 심각도순 위험 목록, 영역별 검증 범위, 미해결 실패와 근본 원인, 테스트 안정성, 소요 시간과 오류 범주, 권장 사항, 승인 페이지 및 부록이 포함됩니다. 보고 범위는 최근 7일, 30일 또는 90일, 전체 이력 또는 특정 날짜 범위로 지정할 수 있습니다.

자주 묻는 질문

  • 기준값 90과 70을 변경할 수 있나요?

    아니요. 이 값은 보고서 코드에 고정되어 있습니다. 사용자가 조정할 수 있는 것은 보고서의 대상 기간과 오탐으로 배제할 실패 항목입니다.

  • 미해결 실패가 하나라도 있으면 진행 가능 판정을 받을 수 없나요?

    네. 진행 가능 판정을 받으려면 점수가 90 이상이고 미해결 실패가 없어야 합니다. 미해결 실패가 하나 있으면 점수가 70 이상이더라도 받을 수 있는 최선의 판정은 주의입니다.

  • 보고서에 인터넷 연결이 필요한가요?

    아니요. 보고서는 사용자 컴퓨터에 있는 테스트, 결과 및 증거를 바탕으로 생성됩니다. Studio가 자체적으로 연결하는 경우는 라이선스를 확인할 때뿐입니다.

  • 이 판정이 담당자의 승인을 대신하나요?

    아니요. 판단을 돕는 자료입니다. 보고서에는 의사 결정자를 위한 승인 페이지가 있으며, 권장 사항에는 출시 전에 확인할 항목이 나열됩니다.

근거와 함께 출시 판정을 받아보세요.

모든 작업은 사용자의 컴퓨터에서 실행됩니다. 카드 등록은 필요 없습니다.