테스트는 계속 Playwright, Selenium 및 pytest를 사용합니다. 저희는 이를 대체하지 않습니다. 기업 환경에서 사용할 수 있도록 개선하며, 코드, 증빙 자료 및 이력의 소유권은 고객에게 있습니다.

재시도를 숨기지 않는 불안정 테스트 탐지.

불안정 테스트 탐지는 시도마다 결과가 달라지는 테스트와 실제 버그를 구분합니다. Nexus StudioQA는 Playwright 및 Selenium 실행의 모든 재시도를 기록합니다: 재시도에서 통과한 실패는 FLAKY, 단일 시도에서의 실패는 BREACHED, 실패 자체도 일관되지 않으면 BREACHED_FLAKY로 표시됩니다. 재시도로 결함이 정상 실행으로 바뀌지는 않습니다.

작성: Verdict System LLC의 Nexus StudioQA 팀.

최종 업데이트: .

세 가지 판정, 하나의 원칙

FLAKY는 시도 간 결과가 달랐다는 뜻일 뿐, 그 이상을 의미하지 않습니다. 재시도 없이 단 한 번의 시도에서 발생한 실패에는 불안정 판정을 내리지 않습니다.

판정시도 횟수마지막 시도CI 종료 코드실패 영상
FLAKY실패 후 재시도통과0No
BREACHED한 번실패1기본 보관 수
BREACHED_FLAKY실패 후 재시도실패1기본 보관 수

재시도 횟수 계산 방식

  • 시도 번호로 결정

    재시도 번호가 0보다 큰 통과 테스트는 FLAKY로 판정되지만, 선택자가 복구된 경우에는 AUTO_RECOVER로 판정됩니다. 정상 통과로 인정되려면 재시도 번호가 0이고 복구된 선택자가 없어야 합니다.

  • 환경부터 확인

    실패를 BREACHED 또는 BREACHED_FLAKY로 판정하기 전에 엔진은 테스트 하네스 오류, 비정상 종료, 차단, 호스트 연결 불가, 시간 초과 가능성을 배제합니다. 시간 초과나 CAPTCHA는 버그 보고로 전달되지 않습니다.

  • 첫 시도가 느리다고 불안정한 것은 아닙니다

    첫 시도가 시간 문제, 닫힌 브라우저 또는 요소가 표시되기를 기다리는 문제로만 실패하고 재시도에서 통과했다면, 판정은 SECURE입니다: 이는 불안정성이 아니라 지연을 나타냅니다.

  • 시도 횟수도 실행 기록에 보존

    이력의 각 행에는 retry_attempt와 attempts가 기록됩니다. 실패한 시도의 raw-data.json도 보관되므로, 재시도가 실패를 가리더라도 해당 로그는 남습니다.

결과가 뒤바뀌는 테스트 식별

  • 이력 추이

    이력에는 각 테스트와 브라우저 또는 기기의 실행마다 한 행이 기록됩니다. 세션별, 일별 또는 주별로 악화, 복구, 여전히 실패, 속도 저하 추이를 보여줍니다.

  • 위험도 순위

    결과가 바뀌거나, 실패하거나, 시간을 소모하는 빈도에 따라 테스트 순위를 매깁니다. 이력에 대한 로지스틱 회귀로 위험도를 예측하며, 데이터가 부족하면 EWMA를 대신 사용합니다.

  • 5회 실행 전에는 불안정 판정을 내리지 않습니다

    실행 횟수가 5회 미만이면 기록과 위험도 순위에서 어떤 테스트도 불안정하다고 판정하지 않습니다. 한두 번의 실행으로는 패턴을 확인할 수 없기 때문입니다.

자주 묻는 질문

  • 재시도가 실제 버그를 숨기나요?

    상태가 통과와 실패뿐이라면 그럴 수 있습니다. 재시도에서 통과하면 빨간색 실행 결과가 녹색으로 바뀌기 때문입니다. Nexus StudioQA는 재시도 사실을 계속 표시합니다: 실패한 뒤 통과한 테스트는 SECURE가 아닌 FLAKY로 판정되며, 보고서와 기록에 표시됩니다.

  • FLAKY 테스트가 빌드를 실패하게 하나요?

    아니요. FLAKY는 CI에서 종료 코드 0을 반환하고, Jira 티켓을 생성하거나 동영상을 보관하지 않지만, 유보 사항이 있는 통과 결과로 계속 표시됩니다.

  • Playwright 테스트가 불안정한 이유는 무엇인가요?

    흔한 원인: 공유되거나 남아 있는 데이터, 잘못된 대상을 기다리는 동작, 불안정한 요소 선택자, 실행 환경 또는 실제로 간헐적으로 발생하는 버그입니다. 재시도는 불안정한 테스트를 확인하는 수단이지 해결책이 아닙니다.

  • FLAKY는 테스트가 불안정한 이유를 알려 주나요?

    아니요. 시도별 결과가 달랐다는 뜻입니다. 애플리케이션이나 테스트에서 원인을 찾는 일은 여전히 사람의 몫입니다. 재시도를 끄면 간헐적인 실패도 BREACHED로 판정됩니다.

자신의 컴퓨터에서 실행하세요.

자체 장비에서 모든 기능을 무료로 사용해 보세요. 카드 등록은 필요 없습니다.