Seus testes continuam em Playwright, Selenium e pytest. Não os substituímos. Nós os preparamos para uso empresarial, e você mantém a propriedade do seu código, das suas evidências e do seu histórico.

Detecção de testes instáveis que mantém a nova tentativa visível.

A detecção de testes instáveis distingue um teste cujas tentativas divergem de um bug real. O Nexus StudioQA registra cada nova tentativa nas execuções de Playwright e Selenium: uma falha seguida de aprovação em nova tentativa recebe FLAKY, uma falha em uma única tentativa recebe BREACHED, e uma falha que também é inconsistente recebe BREACHED_FLAKY. Uma nova tentativa nunca transforma um defeito em uma execução aprovada.

Pela equipe do Nexus StudioQA, Verdict System LLC.

Última atualização: .

Três vereditos, uma regra

FLAKY significa que as tentativas divergiram, e nada mais. Uma falha em uma única tentativa, sem novas tentativas, nunca é classificada como instável.

VeredictoTentativasÚltima tentativaCódigo de saída da CIVídeo da falha
FLAKYFalhou, depois foi repetidoPassou0No
BREACHEDUmaFalhou1Mantido por padrão
BREACHED_FLAKYFalhou, depois foi repetidoFalhou1Mantido por padrão

Como os retries são contados

  • O número da tentativa decide

    Um teste aprovado com número de nova tentativa acima de zero recebe FLAKY, a menos que um seletor tenha sido corrigido automaticamente; nesse caso, recebe AUTO_RECOVER. Uma aprovação sem ressalvas exige número de nova tentativa zero e nenhum seletor corrigido automaticamente.

  • Primeiro, o ambiente

    Antes que uma falha possa receber BREACHED ou BREACHED_FLAKY, o mecanismo descarta erro na estrutura de testes, encerramento inesperado, bloqueio, host inacessível e tempo limite excedido. Um tempo limite excedido ou um CAPTCHA não chega como um relatório de bug.

  • Uma primeira tentativa lenta não é instabilidade

    Quando a primeira tentativa falhou apenas por tempo excedido, navegador fechado ou espera por visibilidade, e a nova tentativa foi aprovada, o veredito é SECURE: isso indica latência, não instabilidade.

  • A contagem acompanha a execução

    Cada linha do Histórico registra retry_attempt e attempts. O raw-data.json da tentativa que falhou é mantido, para que uma nova tentativa que tenha ocultado a falha ainda deixe seu log.

Identificando um teste que oscila

  • Tendências do histórico

    O Histórico mantém uma linha por execução para cada teste e navegador ou dispositivo. Ele mostra tendências por sessão, dia ou semana: Regrediu, Recuperado, Ainda com falha e Mais lento.

  • Classificação de risco

    A classificação ordena os testes pela frequência com que alternam de resultado, falham ou consomem tempo, com um risco previsto por regressão logística sobre seu histórico e uma alternativa baseada em EWMA quando há poucos dados.

  • Nada é considerado instável com menos de cinco execuções

    Com menos de cinco execuções, o Histórico e a classificação de risco não classificam nada como instável, pois uma ou duas execuções não permitem identificar um padrão.

Perguntas frequentes

  • Os retries escondem bugs reais?

    Podem, quando os únicos estados são aprovação e falha, pois uma nova tentativa bem-sucedida transforma uma execução vermelha em verde. O Nexus StudioQA mantém a nova tentativa visível: um teste que falhou e depois passou recebe FLAKY, não SECURE, e aparece no relatório e no Histórico.

  • Um teste FLAKY faz a compilação falhar?

    Não. FLAKY retorna o código de saída 0 na CI, não abre chamado no Jira nem mantém vídeo, mas continua visível como uma aprovação com ressalva.

  • Por que os testes do Playwright são instáveis?

    Causas comuns: dados compartilhados ou residuais, espera pela condição errada, um localizador instável, o ambiente ou um defeito intermitente real. Uma nova tentativa é uma forma de identificar um teste instável, não uma correção.

  • FLAKY indica por que um teste está instável?

    Não. Indica que as tentativas tiveram resultados diferentes. Encontrar a causa na aplicação ou no teste ainda exige o trabalho de uma pessoa. Com as novas tentativas desativadas, uma falha intermitente recebe BREACHED.

Execute na sua própria máquina.

Experimente todos os recursos gratuitamente, nas suas próprias máquinas. Não precisa de cartão.