사용자의 실행 이력을 바탕으로 하는 AI 테스트 위험 예측.
Nexus StudioQA는 각 테스트와 브라우저에 대해 다음 실행에서 문제가 발생할 위험을 0에서 100 사이의 점수로 평가합니다. 순수 JavaScript로 작성된 로지스틱 회귀 모델이 사용자 컴퓨터의 실행 이력을 학습합니다. 이력이 너무 적으면 지수 가중 평균으로 대체합니다. 각 점수에는 그 근거가 되는 요인이 표시됩니다.
작성: Verdict System LLC의 Nexus StudioQA 팀.
최종 업데이트: .
분석 대상
예측기는 각 테스트와 브라우저에 대해 이력의 실행 기록을 시간순으로 읽고, 최근 10회 실행에서 8개의 특성을 구성합니다.
| 기능 | 측정 항목 |
|---|---|
| fail_rate_5, fail_rate_10 | 최근 5회 및 10회 실행 중 문제가 발생한 실행의 비율 |
| flaky_rate_10 | 재시도가 필요했거나 불안정했던 실행의 비율 |
| alternation | 결과가 통과와 실패 사이에서 바뀌는 빈도 |
| last_problem | 마지막 실행에서 문제가 발생했는지 여부 |
| streak_signed | 현재 연속 횟수: 문제가 연속되면 양수, 통과가 연속되면 음수 |
| duration_cv, duration_drift | 소요 시간의 불안정성 및 마지막 실행 시간과 중앙값의 비교 |
문제가 발생한 실행은 BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE 또는 BLOCKED입니다. 카오스 실행은 의도적으로 제외합니다. 이러한 실행의 실패는 인위적으로 주입된 것이므로 모델이 잘못 학습하게 되기 때문입니다.
모델과 대체 방식
| 상황 | 방법 | 출력 |
|---|---|---|
| 문제 발생 표본 4개와 정상 표본 4개 이상을 포함한 통합 표본 12개 이상 | 모든 테스트와 브라우저의 데이터를 함께 사용해 슬라이딩 윈도우로 학습한 로지스틱 회귀 | 모델의 확률에서 산출한 0~100점 |
| 그보다 적은 표본 | 휴리스틱: 문제 발생의 EWMA 50%, 결과 교대 20%, 불안정 실행 비율 20%, 소요 시간 불안정성 10% | 0~100점 |
| 테스트 실행 횟수 3회 미만 | 없음 | 행 없음; 해당 테스트 수만 보고됨 |
60점 이상은 HIGH, 30~59점은 MEDIUM, 나머지는 LOW입니다. 모델 영역에는 다수 클래스 기준선과 비교한 정확도가 표시됩니다. 이는 자체 학습 데이터에 대한 정확도가 아니라, 하나씩 제외하는 교차 검증으로 측정한 값입니다(표본이 200개를 넘으면 5겹 교차 검증).
불안정, 고장 또는 불명확
매번 실패하는 테스트는 결과를 예측할 수 있습니다: 테스트가 고장 난 것이며, 재시도로 해결되지 않습니다. 따라서 각 행에는 결과 양상도 표시됩니다. 결과가 번갈아 바뀌면 불안정, 결과 교대 없이 실패율이 80% 이상이면 고장, 그 외에는 불명확으로 분류합니다. Studio도 같은 방식으로 테스트 순위를 매기며, 비결정적 테스트, 고장 난 테스트, 실패한 실행에 소요된 시간(초)이라는 세 개의 별도 목록을 제공합니다. 각 조합은 최소 5회 실행되어야 그 비율을 유효한 판단 근거로 취급합니다.
실행 위치와 결과 표시 위치
nexus predict [TC] [--browser b] [--json] [--no-save]로 실행하며 작업 공간에 evidence/mlops/flakiness-predictions.json을 기록합니다. Studio는 Evidence Locker에 순위를 표시합니다. 외부 서비스나 추가 의존성을 사용하지 않습니다: 학습이 순수 JavaScript로 이루어지므로 기록이 사용자 컴퓨터 밖으로 나가지 않습니다.
자주 묻는 질문
대규모 언어 모델인가요?
아닙니다. 실행 기록을 바탕으로 순수 JavaScript로 학습하는 소규모 로지스틱 회귀 모델입니다. 결정적이므로 같은 기록에서는 같은 점수가 나옵니다.
애플리케이션의 버그를 예측하나요?
테스트의 다음 실행에서 문제가 발생할 위험을 예측하며, 여기에는 실행 불안정성과 환경 오류가 포함됩니다. 코드를 읽거나 무엇이 잘못되었는지 알려주지는 않습니다.
기록이 얼마나 필요한가요?
점수를 산출하려면 테스트를 최소 3회 실행해야 합니다. 모델을 학습하려면 문제 발생 실행 4회와 정상 실행 4회 이상을 포함한 통합 표본이 최소 12개 필요합니다; 그전에는 EWMA 휴리스틱을 사용합니다.
점수에 요인이 표시되는 이유는 무엇인가요?
각 점수에는 최근 실행의 높은 문제 발생률이나 간헐적으로 통과와 실패가 반복되는 양상 등, 사람이 이해할 수 있는 이유가 최대 세 개 표시됩니다. 이를 통해 순위가 기록과 부합하는지 확인할 수 있습니다.