기존 테스트에 활용하는 카오스 테스트 도구.
Nexus StudioQA의 Chaos Lab은 테스트 실행 중 브라우저에 네트워크 지연, 일시적인 오프라인 상태, CPU 속도 저하 또는 의존성 장애를 주입합니다. 테스트가 견뎌내면 CHAOS_RESILIENT, 견뎌내지 못하면 CHAOS_BREACHED로 실행이 종료됩니다. 장애가 실제로 적용되지 않았다면 CHAOS_NOT_INJECTED로 종료되며, 이 판정으로는 복원력을 판단할 수 없습니다.
작성: Verdict System LLC의 Nexus StudioQA 팀.
최종 업데이트: .
장애 모드
| 모드 | 주요 기능 | 기본값 |
|---|---|---|
| network | 모든 요청을 설정한 시간만큼 지연; 약 20%는 수백 밀리초 더 지연 | 400 ms |
| offline | 처음 30초 이내의 임의 시점에 네트워크를 한 번 차단 | 5000 ms |
| cpu | CPU 속도를 1/4로 저하; Chromium 전용 | 4x, 고정 |
| all | 네트워크, CPU 및 오프라인 장애를 함께 적용 | 위의 기본값 |
| dependency | 지정한 URL 하나에 429, 500, 503, 지연, 무응답 또는 본문 잘림으로 응답 | 사용자 설정 |
패킷 손실과 메모리 압박은 어떤 모드에든 추가할 수 있습니다. 의존성 장애는 재시도 폭주도 감시합니다: 장애가 적용된 URL에 10초 이내에 요청이 10회를 초과하는 경우입니다. nexus patrol TC01 --chaos=network 명령이나 Chaos Lab 화면에서 장애를 실행할 수 있습니다.
카오스 실행 판정 방식
| 판정 | 의미 |
|---|---|
| CHAOS_RESILIENT | 장애가 적용된 상태에서 테스트 통과 |
| CHAOS_BREACHED | 장애가 적용된 상태에서 테스트 실패 |
| CHAOS_NOT_INJECTED | 테스트는 통과했지만 장애가 적용되지 않음, 예를 들어 Firefox에서 cpu를 사용한 경우. 유효한 결과가 아니므로 모든 비율 계산에서 제외 |
판정 페이지 에서 전체 규칙을 확인할 수 있습니다. 카오스 실행은 별도의 증거 폴더에 저장되므로, 주입된 장애로 인한 실패는 실제 테스트 모음의 안정성 평가에 영향을 주지 않습니다.
검증 구문뿐 아니라 정상 상태까지
테스트가 통과하더라도 장애가 발생하면 훨씬 느려질 수 있습니다. Chaos Lab은 각 실행을 장애 없이 동일한 테스트와 브라우저에서 측정한 실행 시간의 중앙값과 비교합니다. 이 기준값의 2배보다 느린 실행은 이탈로 표시됩니다 (허용 오차는 NEXUS_CHAOS_TOLERANCE). 장애 상태에서 측정한 Web Vitals도 기록합니다. 실행 결과가 쌓이면 각 테스트에 복원력 등급이 부여됩니다: 90% 이상은 RESILIENT, 70% 이상은 TOLERANT, 50% 이상은 FRAGILE, 그 미만은 VULNERABLE입니다.
인프라 장애
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds>는 등록된 Docker 컨테이너나 Nexus가 실행한 앱을 의도적으로 중단하고 복구 여부를 RESILIENT, DEGRADED 또는 NOT_RECOVERED로 판정합니다. 실행 전에 승인이 필요하며, --restore로 남아 있는 장애를 해제할 수 있습니다.
지원하지 않는 범위
API 테스트는 카오스 없이 실행됩니다. Firefox의 Selenium 테스트는 장애가 주입되지 않은 채 통과할 수 있으므로 카오스 실행 시 건너뜁니다. --chaos와 --visual은 함께 사용할 수 없습니다.
자주 묻는 질문
카오스를 사용하려면 테스트를 다시 작성해야 하나요?
아니요. Playwright 또는 Chromium의 Python 및 Selenium에서 기존 테스트에 장애를 주입합니다. 정상 상태 확인에 사용할 기준을 마련하려면 먼저 각 테스트를 장애 없이 한 번 실행하세요.
CHAOS_NOT_INJECTED는 무슨 뜻인가요?
테스트는 통과했지만 장애가 실제로 적용되지 않았다는 뜻입니다. 예를 들어 CPU 성능 제한은 Chromium에서만 작동합니다. 복원력 확보나 위반 어느 쪽으로도 집계되지 않으므로 비율을 높이거나 낮추지 않습니다.
카오스가 운영 시스템을 망가뜨릴 수 있나요?
브라우저 장애는 서버가 아닌 테스트 대상 페이지에 적용됩니다. 인프라 장애는 등록한 컨테이너에 적용되며, 먼저 승인을 요청하고 복원 기능으로 해제할 수 있습니다. 어느 쪽이든 본인 소유가 아닌 시스템을 대상으로 삼지 마세요.
카오스 실패도 버그로 집계되나요?
복원력에 관한 발견 사항으로, 일반 테스트 모음과 별도로 기록됩니다. 실제 테스트의 안정성 수치에는 영향을 주지 않습니다.