Seus testes continuam em Playwright, Selenium e pytest. Não os substituímos. Nós os preparamos para uso empresarial, e você mantém a propriedade do seu código, das suas evidências e do seu histórico.

Previsão de risco de testes com IA a partir do seu próprio histórico.

O Nexus StudioQA atribui a cada teste e navegador uma pontuação de 0 a 100 para o risco de problemas na próxima execução. Uma regressão logística escrita em JavaScript puro aprende com o histórico de execuções na sua máquina. Quando há pouco histórico, uma média ponderada exponencialmente assume essa função. Cada pontuação lista os fatores que a determinaram.

Pela equipe do Nexus StudioQA, Verdict System LLC.

Última atualização: .

O que ele analisa

Para cada teste e navegador, o preditor lê as execuções em ordem cronológica no Histórico e gera oito variáveis a partir das últimas 10 execuções.

RecursoO que ele mede
fail_rate_5, fail_rate_10Proporção de execuções com problemas nas últimas 5 e nas últimas 10
flaky_rate_10Proporção de execuções que precisaram de uma nova tentativa ou foram instáveis
alternationCom que frequência o resultado alterna entre aprovação e falha
last_problemSe a última execução teve um problema
streak_signedA sequência atual: positiva para problemas consecutivos, negativa para aprovações consecutivas
duration_cv, duration_driftO quanto a duração é instável e como a última execução se compara à mediana

Uma execução com problemas é BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE ou BLOCKED. As execuções de caos são excluídas de propósito, pois suas falhas são injetadas e ensinariam a coisa errada ao modelo.

O modelo e sua alternativa

SituaçãoMétodoSaída
Pelo menos 12 amostras agrupadas, com pelo menos 4 com problemas e 4 sem problemasRegressão logística, treinada com janelas deslizantes de todos os testes e navegadores em conjuntoPontuação de 0 a 100 a partir da probabilidade do modelo
Menos amostras do que issoHeurística: 50% EWMA de problemas, 20% alternância, 20% taxa de intermitência, 10% instabilidade na duraçãoPontuação de 0 a 100
Menos de 3 execuções de um testeNenhumSem linha; a contagem desses testes é informada

Pontuações de 60 ou mais são ALTAS, de 30 a 59 são MÉDIAS e as demais são BAIXAS. O bloco do modelo informa sua acurácia em relação a uma referência baseada na classe majoritária, medida por validação cruzada deixando uma amostra de fora (com 5 partições acima de 200 amostras), não pela acurácia nos próprios dados de treinamento.

Intermitente, defeituoso ou indefinido

Um teste que falha sempre é previsível: ele está defeituoso, e uma nova tentativa não vai corrigi-lo. Por isso, cada linha também apresenta um padrão. Resultados alternados indicam intermitência, uma taxa de falha de 80% ou mais sem alternância indica defeito, e qualquer outro caso é indefinido. O Studio classifica os testes da mesma forma, em três listas separadas: não determinísticos, defeituosos e custo em segundos gastos em execuções com falha. Um par precisa de pelo menos 5 execuções para que sua taxa seja considerada uma afirmação válida.

Onde é executado e onde aparece

É executado com nexus predict [TC] [--browser b] [--json] [--no-save] e grava evidence/mlops/flakiness-predictions.json no seu espaço de trabalho. O Studio mostra a classificação no Evidence Locker. Não usa serviços externos nem dependências extras: o treinamento é feito em JavaScript puro, então o histórico nunca sai da sua máquina.

Perguntas frequentes

  • Isto é um grande modelo de linguagem?

    Não. É uma pequena regressão logística treinada com seu histórico de execuções, em JavaScript puro. É determinística: o mesmo histórico gera as mesmas pontuações.

  • Ele prevê um erro na aplicação?

    Ele prevê o risco de que a próxima execução de um teste apresente um problema, o que inclui intermitência e falhas de ambiente. Ele não lê seu código nem diz o que está errado.

  • De quanto histórico ele precisa?

    Pelo menos 3 execuções de um teste para que ele receba uma pontuação. Para treinar o modelo, são necessárias pelo menos 12 amostras agrupadas, com pelo menos 4 execuções com problemas e 4 sem problemas; antes disso, é usada a heurística EWMA.

  • Por que a pontuação mostra fatores?

    Cada pontuação lista até três motivos em linguagem clara, como uma alta taxa de problemas nas últimas execuções ou um padrão intermitente de aprovação e falha, para que a classificação possa ser conferida com o histórico.

Veja quais testes vão falhar a seguir.

Tudo é executado nas suas próprias máquinas. Não é necessário cartão.