Previsão de risco de testes com IA a partir do seu próprio histórico.
O Nexus StudioQA atribui a cada teste e navegador uma pontuação de 0 a 100 para o risco de problemas na próxima execução. Uma regressão logística escrita em JavaScript puro aprende com o histórico de execuções na sua máquina. Quando há pouco histórico, uma média ponderada exponencialmente assume essa função. Cada pontuação lista os fatores que a determinaram.
Pela equipe do Nexus StudioQA, Verdict System LLC.
Última atualização: .
O que ele analisa
Para cada teste e navegador, o preditor lê as execuções em ordem cronológica no Histórico e gera oito variáveis a partir das últimas 10 execuções.
| Recurso | O que ele mede |
|---|---|
| fail_rate_5, fail_rate_10 | Proporção de execuções com problemas nas últimas 5 e nas últimas 10 |
| flaky_rate_10 | Proporção de execuções que precisaram de uma nova tentativa ou foram instáveis |
| alternation | Com que frequência o resultado alterna entre aprovação e falha |
| last_problem | Se a última execução teve um problema |
| streak_signed | A sequência atual: positiva para problemas consecutivos, negativa para aprovações consecutivas |
| duration_cv, duration_drift | O quanto a duração é instável e como a última execução se compara à mediana |
Uma execução com problemas é BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE ou BLOCKED. As execuções de caos são excluídas de propósito, pois suas falhas são injetadas e ensinariam a coisa errada ao modelo.
O modelo e sua alternativa
| Situação | Método | Saída |
|---|---|---|
| Pelo menos 12 amostras agrupadas, com pelo menos 4 com problemas e 4 sem problemas | Regressão logística, treinada com janelas deslizantes de todos os testes e navegadores em conjunto | Pontuação de 0 a 100 a partir da probabilidade do modelo |
| Menos amostras do que isso | Heurística: 50% EWMA de problemas, 20% alternância, 20% taxa de intermitência, 10% instabilidade na duração | Pontuação de 0 a 100 |
| Menos de 3 execuções de um teste | Nenhum | Sem linha; a contagem desses testes é informada |
Pontuações de 60 ou mais são ALTAS, de 30 a 59 são MÉDIAS e as demais são BAIXAS. O bloco do modelo informa sua acurácia em relação a uma referência baseada na classe majoritária, medida por validação cruzada deixando uma amostra de fora (com 5 partições acima de 200 amostras), não pela acurácia nos próprios dados de treinamento.
Intermitente, defeituoso ou indefinido
Um teste que falha sempre é previsível: ele está defeituoso, e uma nova tentativa não vai corrigi-lo. Por isso, cada linha também apresenta um padrão. Resultados alternados indicam intermitência, uma taxa de falha de 80% ou mais sem alternância indica defeito, e qualquer outro caso é indefinido. O Studio classifica os testes da mesma forma, em três listas separadas: não determinísticos, defeituosos e custo em segundos gastos em execuções com falha. Um par precisa de pelo menos 5 execuções para que sua taxa seja considerada uma afirmação válida.
Onde é executado e onde aparece
É executado com nexus predict [TC] [--browser b] [--json] [--no-save] e grava evidence/mlops/flakiness-predictions.json no seu espaço de trabalho. O Studio mostra a classificação no Evidence Locker. Não usa serviços externos nem dependências extras: o treinamento é feito em JavaScript puro, então o histórico nunca sai da sua máquina.
Perguntas frequentes
Isto é um grande modelo de linguagem?
Não. É uma pequena regressão logística treinada com seu histórico de execuções, em JavaScript puro. É determinística: o mesmo histórico gera as mesmas pontuações.
Ele prevê um erro na aplicação?
Ele prevê o risco de que a próxima execução de um teste apresente um problema, o que inclui intermitência e falhas de ambiente. Ele não lê seu código nem diz o que está errado.
De quanto histórico ele precisa?
Pelo menos 3 execuções de um teste para que ele receba uma pontuação. Para treinar o modelo, são necessárias pelo menos 12 amostras agrupadas, com pelo menos 4 execuções com problemas e 4 sem problemas; antes disso, é usada a heurística EWMA.
Por que a pontuação mostra fatores?
Cada pontuação lista até três motivos em linguagem clara, como uma alta taxa de problemas nas últimas execuções ou um padrão intermitente de aprovação e falha, para que a classificação possa ser conferida com o histórico.
Veja quais testes vão falhar a seguir.
Tudo é executado nas suas próprias máquinas. Não é necessário cartão.