Testes de regressão visual no Nexus StudioQA.
Os testes de regressão visual no Nexus StudioQA comparam uma captura de tela de cada execução com uma imagem de referência aprovada por você. A primeira execução com --visual cria a referência. As execuções seguintes contam os pixels que mudaram, ignoram bordas suavizadas e salvam uma imagem das diferenças quando a alteração ultrapassa a tolerância. Por padrão, uma regressão é registrada, mas não reprova o teste.
Pela equipe do Nexus StudioQA, Verdict System LLC.
Última atualização: .
O que cada execução compara
Dois tipos de ponto de verificação, cada um com sua própria tolerância: a proporção de pixels que podem diferir antes que a alteração seja considerada uma regressão.
| Ponto de verificação | O que é fotografado | Tolerância padrão |
|---|---|---|
| Página inteira | A captura de tela da área visível ao final do teste, salva com o nome baseline. | 1.0% dos pixels (NEXUS_VISUAL_THRESHOLD) |
| Elemento | Um elemento, definido dentro do teste com visualCheck(page, 'cart-total', page.locator('#cart-total')). | 0.1% dos pixels (NEXUS_VISUAL_ELEMENT_THRESHOLD) |
Como uma alteração é determinada
As imagens de referência são mantidas por navegador e plataforma
Elas ficam em
visual-baselines/<browser>@<platform>/na pasta do projeto, para que possam ser versionadas junto com seu código. Uma imagem do Windows nunca é comparada com uma do Linux, pois as fontes e a suavização de bordas são diferentes. Uma combinação de navegador e plataforma sem referência cria a sua própria.Bordas suavizadas não são contadas
Um pixel que mudou apenas porque uma borda foi suavizada novamente é marcado em âmbar na imagem das diferenças e fica fora da contagem. Um pixel é considerado alterado quando um canal de cor difere em 10 ou mais, e NEXUS_VISUAL_PIXEL_TOLERANCE ajusta esse valor entre 0 e 255.
As capturas são refeitas até se estabilizarem
Uma captura é refeita até que duas consecutivas sejam idênticas byte a byte, com no máximo três capturas. Uma página que nunca se estabiliza é relatada como instável, em vez de se tornar a referência sem que ninguém perceba.
Uma imagem de tamanho diferente não é esticada
As duas imagens são comparadas em tamanho original na região que compartilham, alinhadas pelo canto superior esquerdo. A área que não se sobrepõe conta como diferente.
Uma verificação que não foi executada é reprovada
Se a comparação não puder ser executada, por exemplo, por falta de uma imagem ou porque a biblioteca nativa de imagens não está instalada, o teste falhará independentemente da configuração de rigor. Uma verificação que nunca ocorreu não é registrada como aprovada.
As configurações que importam
Todas ficam na tela de Regressão Visual do Studio, com os valores padrão abaixo.
| Configuração | Padrão | O que faz |
|---|---|---|
| Comparar pixels em todas as execuções | Desativado | Ativa a comparação em todas as execuções. --visual a ativa para uma única execução. |
| Uma regressão faz o teste falhar | Desativado | Com NEXUS_VISUAL_STRICT=true, pixels deslocados além da tolerância fazem o teste falhar. Com a opção desativada, a regressão é registrada e o teste mantém seu veredito. |
| Mascarados em todas as capturas | Nenhum | Seletores CSS cujos elementos são cobertos em todas as capturas, como um relógio ou um anúncio (NEXUS_VISUAL_MASK). |
| Pastas de regressão mantidas | 10 | Pastas mais recentes mantidas por teste e ponto de verificação (NEXUS_VISUAL_REGRESSION_RETAIN). |
O que você revisa e aprova
Cada regressão é armazenada em visual-regression com seus próprios arquivos, e o Studio os exibe em quatro modos: Lado a lado, Deslizar, Diferenças e Piscar, junto às execuções anteriores do mesmo ponto de verificação.
| Arquivo | O que é |
|---|---|
baseline.png | A imagem aprovada. |
current.png | A imagem desta execução. |
diff.png | Vermelho para pixels alterados, âmbar para suavização de serrilhado ignorada, cinza para pixels inalterados. |
visual-report.md | Os números em texto simples. |
result.json | O mesmo resultado em formato de dados. |
O que ele não pode dizer
Pixels não distinguem uma reformulação planejada de um erro, então uma pessoa aprova cada alteração: Aprovar esta alteração no Studio substitui a imagem de um ponto de verificação, e nexus baseline --update <TC_ID> faz o mesmo pela linha de comando. Tudo o que muda por conta própria, como um relógio, um anúncio ou um avatar, precisa ser mascarado ou continuará deixando a comparação em vermelho.
Perguntas frequentes
Uma regressão visual faz meu teste falhar?
Não por padrão. A regressão é registrada e o teste mantém seu veredito. Ative
NEXUS_VISUAL_STRICTe uma regressão além da tolerância fará o teste falhar.Por que existe uma imagem de referência por sistema operacional?
A mesma página é renderizada com pequenas diferenças nas fontes, na suavização de serrilhado e nas barras de rolagem no Windows, Linux e macOS. Comparar entre eles indica uma alteração causada apenas pelo renderizador, por isso cada navegador e plataforma mantém sua própria imagem de referência.
Como evitar que um relógio ou um anúncio faça a verificação falhar?
Mascare o elemento com um seletor CSS nas configurações visuais, ou use um ponto de verificação de elemento na parte da página que importa para você. Um ponto de verificação de elemento usa um décimo da tolerância da página inteira, mantendo o rigor sem que um anúncio em movimento deixe a comparação em vermelho.
Onde ficam armazenadas as imagens de referência?
Em
visual-baselinesna pasta do projeto, não na pasta de evidências, para que possam ser versionadas junto com o código. As diferenças de regressão são resultados da execução e ficam emvisual-regressiondentro da pasta de evidências.
Execute na sua própria máquina.
Experimente todos os recursos gratuitamente, nas suas próprias máquinas. Não precisa de cartão.