테스트는 계속 Playwright, Selenium 및 pytest를 사용합니다. 저희는 이를 대체하지 않습니다. 기업 환경에서 사용할 수 있도록 개선하며, 코드, 증빙 자료 및 이력의 소유권은 고객에게 있습니다.

부하 테스트와 Web Vitals를 허용 한도와 비교하세요.

Nexus StudioQA는 JSON 파일이나 부하 화면에서 부하 시나리오를 실행하고, 실행 전에 설정한 허용 한도를 기준으로 판정합니다. 각 실행은 PASS, OVER_BUDGET, REGRESSED 또는 UNMEASURED로 종료됩니다. 브라우저 테스트에서는 엄격 모드가 켜져 있으면 LCP, CLS 및 INP 허용 한도에 따라 통과한 테스트도 PERFORMANCE_DEGRADED로 바뀔 수 있습니다.

작성: Verdict System LLC의 Nexus StudioQA 팀.

최종 업데이트: .

네 가지 부하 판정

판정조건
PASS하나 이상의 기준을 확인할 수 있었으며 모든 기준을 충족함
OVER_BUDGET기준을 충족하지 못했거나, 개방형 모델에서 요청된 반복 실행의 1%를 초과하는 분량을 시작하지 못함
REGRESSED허용 한도 이내이지만, p95가 최근 통과한 실행들의 p95 중앙값의 1.25배를 초과하고 해당 중앙값보다 25 ms 이상 높음
UNMEASURED확인할 수 있는 항목이 없음: 기준 없음, 시도 5회 미만, p95 산출에 유효한 표본 5개 미만 또는 측정 도구가 측정할 수 없는 Web Vitals 허용 한도

REGRESSED의 기준선은 시나리오, 대상, 모델 및 사용자 수가 같은 최근 5회의 통과 실행이며, 최소 3회가 필요합니다. 대상이 완전히 중단된 경우 오류율을 시도 횟수 기준으로 평가하므로 UNMEASURED가 아닌 OVER_BUDGET으로 판정됩니다. strict가 켜져 있으면 OVER_BUDGET과 REGRESSED는 종료 코드 1로 프로세스를 종료하므로 파이프라인을 중단할 수 있습니다.

부하 실행의 동작 방식

시나리오는 대상, 검증 조건을 포함한 단계, 사용자 대기 시간, 그리고 폐쇄형 모델(사용자 1~5000명) 또는 개방형 모델(요청률)을 설정합니다. 가상 사용자는 작업 스레드에서 HTTP 요청을 보내며, 보고서는 평균만 제시하는 것이 아니라 백분위수, 처리량 및 오류율을 제공합니다. 실행에 앞서 두 가지 안전장치가 적용됩니다: 요청을 보내기 전에 AUTHORIZED를 입력해야 하며, 대상이 현재 기기가 아니면 --yes도 필요합니다. 결과는 evidence/load-runs에 저장됩니다.

Web Vitals

--vitals를 사용하면 Playwright Chromium의 측정 도구가 부하 발생 전, 중, 후에 페이지를 불러와 LCP, FCP, CLS, TBT 및 TTFB의 p75 허용 한도를 확인합니다. 이 측정 도구는 페이지와 상호작용하지 않으므로 INP는 지원하지 않습니다. 브라우저 테스트에서는 엔진이 실행할 때마다 LCP, CLS 및 INP를 측정하여 NEXUS_PERF_LCP, NEXUS_PERF_CLS 및 NEXUS_PERF_INP의 허용 한도와 비교합니다. 기본 임계값은 web.dev를 따릅니다:

지표양호 상한나쁨 기준 초과
LCP2500 ms4000 ms
CLS0.10.25
INP200 ms500 ms

이는 스크립트에 따른 페이지 로드로 얻은 실험실 측정값으로, 고정된 환경에서 성능 저하를 감지하는 지표이지 실제 사용자의 현장 데이터가 아닙니다. INP에는 클릭이나 키 입력이 필요하므로 페이지를 불러오기만 하는 테스트에는 INP가 없습니다. 허용 한도 초과로 테스트가 PERFORMANCE_DEGRADED로 바뀌는 것은 NEXUS_PERF_STRICT가 true일 때뿐이며; 그렇지 않으면 초과 사실이 기록되어 보고서에 표시됩니다.

출시 보고서에서

경영진 보고서는 OVER_BUDGET 또는 REGRESSED로 종료된 부하 실행을 실패로 집계하고, 마지막 실행을 표시하며, 마지막 부하 실행이 PASS 또는 UNMEASURED가 아니면 권장 사항을 추가합니다.

자주 묻는 질문

  • 부하 생성기는 실제 브라우저를 구동하나요?

    아니요. 가상 사용자는 HTTP 요청을 보냅니다. 부하 생성기는 이 방식으로 수천 명의 사용자를 구현합니다. Playwright Chromium은 Web Vitals 측정과 브라우저 테스트에만 사용됩니다.

  • 실행 결과가 PASS가 아니라 UNMEASURED인 이유는 무엇인가요?

    확인할 수 있는 항목이 없었기 때문입니다. 예를 들어 기준이 없거나, 백분위수를 구할 표본이 부족하거나, 측정 도구가 Web Vitals 허용치를 읽지 못한 경우입니다. 확인하지 않은 허용치를 통과한 것으로 볼 수는 없습니다.

  • 어떤 사이트든 부하 테스트를 할 수 있나요?

    직접 소유하거나 서면으로 테스트 허가를 받은 시스템만 가능합니다. 이 도구는 localhost에서도 AUTHORIZED를 입력하도록 요구하며, 대상이 현재 기기가 아닌 경우 --yes가 필요합니다.

  • 페이지가 느리면 테스트가 실패하나요?

    엄격 모드에서만 그렇습니다. 기본적으로 성능 허용치 초과는 참고 사항으로 기록됩니다. NEXUS_PERF_STRICT=true를 설정하면 테스트 결과가 PERFORMANCE_DEGRADED가 되지만, CI에서 종료 코드는 여전히 0입니다.

속도에 허용치를 설정하세요.

모든 작업은 사용자의 컴퓨터에서 실행됩니다. 카드 등록은 필요 없습니다.