정밀 분석 테스트 판정: 통과나 실패 대신 15가지 결과.
정밀 분석 테스트 판정은 통과나 실패 대신 결과의 책임 소재를 나타내는 명확한 판정을 제공합니다. Nexus StudioQA는 모든 실행에 15가지 판정 중 하나를 부여합니다. 문제없는 통과, 주의 사항이 있는 통과, 애플리케이션 결함, 오래된 테스트, 시간 초과나 봇 차단 같은 환경 문제 등을 구분합니다. 애플리케이션에 원인이 있는 실패만 버그로 보고됩니다.
작성: Verdict System LLC의 Nexus StudioQA 팀.
최종 업데이트: .
그룹별 15가지 판정
15가지 판정은 SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED 및 CRASHED입니다.
| 그룹 | 판정 | CI 종료 코드 | 버그 보고서로 등록되나요? |
|---|---|---|---|
| 통과 | SECURE, CHAOS_RESILIENT | 0 | No |
| 유의 사항이 있는 통과 | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | 아니요, 하지만 보고서와 기록에 유의 사항이 표시됩니다 |
| 애플리케이션 고장 | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | 예 |
| 테스트가 최신 상태가 아님 | TEST_DRIFT | 1 | 예, 테스트의 실패로 처리: 해당 줄 수정 |
| 환경 문제 | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
엔진이 판정을 선택하는 방법
순서대로 묻는 세 가지 질문
테스트에서 결과가 나오기는 했나요? 통과했다면 문제없이 통과했나요? 실패했다면 원인은 테스트 실행 체계, 환경, 애플리케이션 중 어디에 있나요?
고정된 패턴 검사 순서
실패가 발생하면 엔진은 정해진 순서대로 오류 메시지와 네트워크 로그를 패턴 그룹과 대조합니다. 처음 일치하는 그룹이 판정을 결정하므로 이 순서도 설계의 일부입니다. Playwright와 Selenium WebDriver의 오류 문구를 모두 처리합니다.
모든 실행에 판정이 부여되지는 않습니다
SKIPPED, INTERRUPTED 및 CONFIG_ERROR는 애플리케이션에 대해 아무것도 알려주지 않으므로 15가지 판정에 포함되지 않습니다. 이 경우 증거 폴더도 기록 행도 생성되지 않습니다.
환경 문제에 판정을 부여하는 방법
| 판정 | 엔진이 관찰한 내용 | 의미 |
|---|---|---|
| TIMEOUT | Playwright의 Timeout 30000ms exceeded, Selenium의 Wait timed out after, TimeoutError | 실행이 제한 시간 안에 응답하지 않았습니다. 페이지가 느리다는 뜻이지, 애플리케이션 결함의 증거는 아닙니다. |
| UNREACHABLE | 페이지를 관찰하기 전에 발생한 이름 확인 실패, 연결 거부 또는 컴퓨터의 오프라인 상태 | 호스트에 전혀 연결할 수 없었습니다. |
| BLOCKED | 403 또는 429, CAPTCHA, 접근 거부 페이지 또는 봇 확인 절차 | 사이트가 자체적으로 방어하여 요청이 제품에 도달하지 못했습니다. |
| CRASHED | Target closed, Page crashed, DevTools 프로토콜 오류, SessionNotCreatedError | 브라우저나 드라이버가 비정상 종료되었습니다: 컴퓨터와 드라이버를 확인하세요. |
전체 규칙을 확인할 수 있는 곳
이 페이지는 요약입니다. 15가지 판정의 결정 방식에서는 엔진이 적용하는 순서대로 전체 규칙과 이 방식의 한계를 설명합니다. 판정 색인에서는 각 판정을 개별 페이지에서 설명합니다.
자주 묻는 질문
조건부 통과도 CI에서 통과로 처리되나요?
네. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION 및 SECURITY_VIOLATION은 종료 코드 0을 반환하므로 빌드를 실패시키지 않습니다. 유의 사항은 보고서와 기록에 표시됩니다.
TIMEOUT은 애플리케이션이 정상 작동한다는 뜻인가요?
아니요. TIMEOUT은 애플리케이션이 정상 작동한다는 증거가 아닙니다. 해당 실행으로는 판단할 수 없다는 뜻이므로 애플리케이션의 버그로 보고하지 않습니다. 매번 실행 시간이 초과되는 테스트는 살펴볼 필요가 있습니다.
접근성 또는 보안 검사로 판정이 바뀔 수 있나요?
설정에서 엄격하게 적용하도록 지정한 경우에만 가능합니다. 이 경우 통과한 테스트의 판정을 SECURITY_VIOLATION, A11Y_VIOLATION 또는 PERFORMANCE_DEGRADED로 바꿀 수 있으며, 우선순위도 이 순서입니다. 실패한 테스트의 판정은 변경하지 않습니다.
분류는 얼마나 신뢰할 수 있나요?
오류 문구를 읽어 분류하므로, 사용자 지정 검증 메시지에 403 또는 Forbidden이 포함되어 있으면 BLOCKED로 해석될 수 있습니다. 사용자 지정 메시지는 구체적으로 작성하고, 예상치 못한 판정이 나오면 metadata.json을 열어 보세요.