테스트는 계속 Playwright, Selenium 및 pytest를 사용합니다. 저희는 이를 대체하지 않습니다. 기업 환경에서 사용할 수 있도록 개선하며, 코드, 증빙 자료 및 이력의 소유권은 고객에게 있습니다.

정밀 분석 테스트 판정: 통과나 실패 대신 15가지 결과.

정밀 분석 테스트 판정은 통과나 실패 대신 결과의 책임 소재를 나타내는 명확한 판정을 제공합니다. Nexus StudioQA는 모든 실행에 15가지 판정 중 하나를 부여합니다. 문제없는 통과, 주의 사항이 있는 통과, 애플리케이션 결함, 오래된 테스트, 시간 초과나 봇 차단 같은 환경 문제 등을 구분합니다. 애플리케이션에 원인이 있는 실패만 버그로 보고됩니다.

작성: Verdict System LLC의 Nexus StudioQA 팀.

최종 업데이트: .

그룹별 15가지 판정

15가지 판정은 SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED 및 CRASHED입니다.

그룹판정CI 종료 코드버그 보고서로 등록되나요?
통과SECURE, CHAOS_RESILIENT0No
유의 사항이 있는 통과AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0아니요, 하지만 보고서와 기록에 유의 사항이 표시됩니다
애플리케이션 고장BREACHED, BREACHED_FLAKY, CHAOS_BREACHED1예
테스트가 최신 상태가 아님TEST_DRIFT1예, 테스트의 실패로 처리: 해당 줄 수정
환경 문제TIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

엔진이 판정을 선택하는 방법

  • 순서대로 묻는 세 가지 질문

    테스트에서 결과가 나오기는 했나요? 통과했다면 문제없이 통과했나요? 실패했다면 원인은 테스트 실행 체계, 환경, 애플리케이션 중 어디에 있나요?

  • 고정된 패턴 검사 순서

    실패가 발생하면 엔진은 정해진 순서대로 오류 메시지와 네트워크 로그를 패턴 그룹과 대조합니다. 처음 일치하는 그룹이 판정을 결정하므로 이 순서도 설계의 일부입니다. Playwright와 Selenium WebDriver의 오류 문구를 모두 처리합니다.

  • 모든 실행에 판정이 부여되지는 않습니다

    SKIPPED, INTERRUPTED 및 CONFIG_ERROR는 애플리케이션에 대해 아무것도 알려주지 않으므로 15가지 판정에 포함되지 않습니다. 이 경우 증거 폴더도 기록 행도 생성되지 않습니다.

환경 문제에 판정을 부여하는 방법

판정엔진이 관찰한 내용의미
TIMEOUTPlaywright의 Timeout 30000ms exceeded, Selenium의 Wait timed out after, TimeoutError실행이 제한 시간 안에 응답하지 않았습니다. 페이지가 느리다는 뜻이지, 애플리케이션 결함의 증거는 아닙니다.
UNREACHABLE페이지를 관찰하기 전에 발생한 이름 확인 실패, 연결 거부 또는 컴퓨터의 오프라인 상태호스트에 전혀 연결할 수 없었습니다.
BLOCKED403 또는 429, CAPTCHA, 접근 거부 페이지 또는 봇 확인 절차사이트가 자체적으로 방어하여 요청이 제품에 도달하지 못했습니다.
CRASHEDTarget closed, Page crashed, DevTools 프로토콜 오류, SessionNotCreatedError브라우저나 드라이버가 비정상 종료되었습니다: 컴퓨터와 드라이버를 확인하세요.

전체 규칙을 확인할 수 있는 곳

이 페이지는 요약입니다. 15가지 판정의 결정 방식에서는 엔진이 적용하는 순서대로 전체 규칙과 이 방식의 한계를 설명합니다. 판정 색인에서는 각 판정을 개별 페이지에서 설명합니다.

자주 묻는 질문

  • 조건부 통과도 CI에서 통과로 처리되나요?

    네. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION 및 SECURITY_VIOLATION은 종료 코드 0을 반환하므로 빌드를 실패시키지 않습니다. 유의 사항은 보고서와 기록에 표시됩니다.

  • TIMEOUT은 애플리케이션이 정상 작동한다는 뜻인가요?

    아니요. TIMEOUT은 애플리케이션이 정상 작동한다는 증거가 아닙니다. 해당 실행으로는 판단할 수 없다는 뜻이므로 애플리케이션의 버그로 보고하지 않습니다. 매번 실행 시간이 초과되는 테스트는 살펴볼 필요가 있습니다.

  • 접근성 또는 보안 검사로 판정이 바뀔 수 있나요?

    설정에서 엄격하게 적용하도록 지정한 경우에만 가능합니다. 이 경우 통과한 테스트의 판정을 SECURITY_VIOLATION, A11Y_VIOLATION 또는 PERFORMANCE_DEGRADED로 바꿀 수 있으며, 우선순위도 이 순서입니다. 실패한 테스트의 판정은 변경하지 않습니다.

  • 분류는 얼마나 신뢰할 수 있나요?

    오류 문구를 읽어 분류하므로, 사용자 지정 검증 메시지에 403 또는 Forbidden이 포함되어 있으면 BLOCKED로 해석될 수 있습니다. 사용자 지정 메시지는 구체적으로 작성하고, 예상치 못한 판정이 나오면 metadata.json을 열어 보세요.

자신의 컴퓨터에서 실행하세요.

자체 장비에서 모든 기능을 무료로 사용해 보세요. 카드 등록은 필요 없습니다.