테스트는 계속 Playwright, Selenium 및 pytest를 사용합니다. 저희는 이를 대체하지 않습니다. 기업 환경에서 사용할 수 있도록 개선하며, 코드, 증빙 자료 및 이력의 소유권은 고객에게 있습니다.

Nexus StudioQA의 시각적 회귀 테스트.

Nexus StudioQA의 시각적 회귀 테스트는 각 실행에서 촬영한 화면을 승인된 기준 이미지와 비교합니다. --visual을 사용한 첫 실행에서 기준 이미지를 생성합니다. 이후 실행에서는 달라진 픽셀 수를 세고, 계단 현상 완화 처리가 적용된 가장자리는 무시하며, 변경이 허용 오차를 넘으면 차이 이미지를 보관합니다. 기본적으로 회귀는 기록되지만 테스트를 실패시키지는 않습니다.

작성: Verdict System LLC의 Nexus StudioQA 팀.

최종 업데이트: .

각 실행에서 비교하는 대상

검사 지점은 두 종류이며, 각각 고유한 허용 오차가 있습니다. 허용 오차는 변경을 회귀로 간주하기 전까지 달라도 되는 픽셀의 비율입니다.

검사 지점촬영 대상기본 허용 오차
전체 페이지테스트 종료 시 촬영한 화면 표시 영역으로, baseline이라는 이름으로 저장됩니다.픽셀의 1.0% (NEXUS_VISUAL_THRESHOLD)
요소테스트 내에서 visualCheck(page, 'cart-total', page.locator('#cart-total'))로 지정한 단일 요소.픽셀의 0.1% (NEXUS_VISUAL_ELEMENT_THRESHOLD)

변경 판단 방식

  • 기준 이미지는 브라우저 및 플랫폼별로 보관됩니다

    기준 이미지는 프로젝트 폴더의 visual-baselines/<browser>@<platform>/에 저장되므로 코드와 함께 버전을 관리할 수 있습니다. 글꼴과 계단 현상 완화 처리 방식이 다르기 때문에 Windows 이미지를 Linux 이미지와 비교하지 않습니다. 기준 이미지가 없는 브라우저 및 플랫폼 조합은 자체 기준 이미지를 생성합니다.

  • 계단 현상 완화 처리가 적용된 가장자리는 집계하지 않습니다

    가장자리의 색상이 다시 혼합되어 달라진 픽셀은 차이 이미지에서 황색으로 표시하고 집계에서 제외합니다. 색상 채널의 차이가 10 이상이면 변경된 픽셀로 집계하며, NEXUS_VISUAL_PIXEL_TOLERANCE로 이 값을 0에서 255 사이로 변경할 수 있습니다.

  • 화면이 안정될 때까지 다시 촬영합니다

    연속된 두 이미지가 바이트 단위로 일치할 때까지 최대 세 번 촬영합니다. 계속 안정되지 않는 페이지는 별도 표시 없이 기준 이미지가 되는 대신 불안정한 상태로 보고됩니다.

  • 크기가 달라도 늘려 맞추지 않습니다

    두 이미지는 왼쪽 위를 기준으로 정렬한 뒤, 겹치는 영역을 원래 크기로 비교합니다. 겹치지 않는 영역은 차이로 집계합니다.

  • 실행되지 않은 검사는 실패로 처리합니다

    이미지가 없거나 네이티브 이미지 라이브러리가 설치되지 않아 비교를 실행할 수 없는 경우에는 엄격 모드 설정과 관계없이 테스트가 실패합니다. 수행되지 않은 검사를 통과로 보고하지 않습니다.

주요 설정

각 설정은 Studio의 시각적 회귀 화면에 있으며, 기본값은 아래와 같습니다.

설정기본값주요 기능
실행할 때마다 픽셀 비교꺼짐모든 실행에서 비교를 활성화합니다. --visual은 한 번의 실행에만 적용됩니다.
회귀 발생 시 테스트 실패 처리꺼짐NEXUS_VISUAL_STRICT=true이면 픽셀 변화가 허용 오차를 초과할 때 테스트가 실패합니다. 꺼져 있으면 회귀만 기록하고 테스트 판정은 유지합니다.
모든 사진에서 가리기없음시계나 광고처럼 모든 사진에서 덮어 가릴 요소의 CSS 선택자입니다 (NEXUS_VISUAL_MASK).
보관할 회귀 폴더 수10테스트 및 체크포인트별로 보관할 최신 폴더 수입니다 (NEXUS_VISUAL_REGRESSION_RETAIN).

검토 및 승인 대상

각 회귀는 자체 파일과 함께 visual-regression에 저장되며, Studio에서는 동일한 체크포인트의 이전 실행 옆에서 나란히 보기, 밀어서 보기, 차이 보기, 번갈아 보기의 네 가지 방식으로 확인할 수 있습니다.

파일설명
baseline.png승인된 이미지입니다.
current.png이번 실행의 이미지입니다.
diff.png빨간색은 변경된 픽셀, 황갈색은 무시된 안티앨리어싱, 회색은 변경되지 않은 부분을 나타냅니다.
visual-report.md일반 텍스트로 기록된 수치입니다.
result.json동일한 결과를 데이터로 제공합니다.

알 수 없는 것

픽셀만으로는 계획된 디자인 변경과 버그를 구분할 수 없으므로 사람이 각 변경을 승인해야 합니다: Studio에서 이 변경 승인을 선택하면 해당 체크포인트의 이미지가 교체되며, 명령줄에서는 nexus baseline --update <TC_ID>로 같은 작업을 할 수 있습니다. 시계, 광고, 아바타처럼 저절로 바뀌는 요소는 가려야 하며, 그렇지 않으면 비교 결과가 계속 빨간색으로 표시됩니다.

자주 묻는 질문

  • 시각적 회귀가 발생하면 테스트가 실패하나요?

    기본적으로는 실패하지 않습니다. 회귀만 기록하고 테스트 판정은 유지합니다. NEXUS_VISUAL_STRICT를 켜면 허용 오차를 초과하는 회귀가 발생할 때 테스트가 실패합니다.

  • 운영체제별로 기준 이미지가 있는 이유는 무엇인가요?

    동일한 페이지라도 Windows, Linux, macOS에서는 글꼴, 안티앨리어싱, 스크롤 막대가 조금씩 다르게 표시됩니다. 서로 다른 환경을 비교하면 렌더링 방식의 차이만으로도 변경이 보고되므로, 각 브라우저와 플랫폼은 자체 기준 이미지를 유지합니다.

  • 시계나 광고 때문에 검사가 실패하지 않게 하려면 어떻게 하나요?

    시각적 검사 설정에서 CSS 선택자로 해당 요소를 가리거나, 페이지에서 중요한 부분에 요소 체크포인트를 사용하세요. 요소 체크포인트에는 전체 페이지 허용 오차의 10분의 1이 적용되므로, 움직이는 광고 때문에 실패하지 않으면서도 엄격하게 검사할 수 있습니다.

  • 기준 이미지는 어디에 저장되나요?

    코드와 함께 커밋할 수 있도록 증거 폴더가 아닌 프로젝트 폴더의 visual-baselines에 저장됩니다. 회귀 차이 파일은 실행 결과물이므로 증거 폴더 아래의 visual-regression에 저장됩니다.

자신의 컴퓨터에서 실행하세요.

자체 장비에서 모든 기능을 무료로 사용해 보세요. 카드 등록은 필요 없습니다.