I tuoi test restano in Playwright, Selenium e pytest. Non li sostituiamo. Li rendiamo pronti per l'uso aziendale, e il codice, le evidenze e la cronologia restano di tua proprietà.

Verdetti forensi dei test: 15 esiti anziché superato o fallito.

I verdetti forensi dei test sostituiscono superato o fallito con un esito specifico che indica a chi è attribuibile il risultato. Nexus StudioQA assegna a ogni esecuzione uno dei 15 verdetti: un superamento senza riserve, un superamento con riserva, un'applicazione malfunzionante, un test non aggiornato o un problema dell'ambiente, come un timeout o un blocco anti-bot. Solo un fallimento attribuibile all'applicazione costituisce una segnalazione di difetto.

A cura del gruppo Nexus StudioQA, Verdict System LLC.

Ultimo aggiornamento: .

I 15 verdetti, per gruppo

I 15 verdetti sono SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED e CRASHED.

GruppoVerdettiCodice di uscita CIÈ una segnalazione di bug?
SuperatoSECURE, CHAOS_RESILIENT0No
Superato con riservaAUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION0No, ma il rapporto e la Cronologia mostrano la riserva
L'applicazione ha smesso di funzionareBREACHED, BREACHED_FLAKY, CHAOS_BREACHED1Sì
Il test non è aggiornatoTEST_DRIFT1Sì, a carico del test: correggi la riga
Il problema è nell'ambienteTIMEOUT, UNREACHABLE, BLOCKED, CRASHED1No

Come il motore sceglie il verdetto

  • Tre domande, in ordine

    Il test ha prodotto un risultato? Se è stato superato, lo è stato senza riserve? Se è fallito, a chi è attribuibile il problema: all'infrastruttura di test, all'ambiente o all'applicazione?

  • Un ordine fisso di schemi

    In caso di fallimento, il motore confronta il messaggio di errore e il registro di rete con gruppi di schemi in un ordine fisso. Il primo gruppo che trova una corrispondenza determina il verdetto, quindi l'ordine fa parte della progettazione. Sono contemplate sia le formulazioni di Playwright sia quelle di Selenium WebDriver.

  • Non tutto riceve un verdetto

    SKIPPED, INTERRUPTED e CONFIG_ERROR non rientrano nei 15, perché nessuno di questi esiti dice qualcosa sulla tua applicazione. Non generano né una cartella delle evidenze né una riga nella cronologia.

Come viene classificato un fallimento dovuto all'ambiente

VerdettoCosa ha osservato il motoreCosa significa
TIMEOUTTimeout 30000ms exceeded di Playwright, Wait timed out after di Selenium, un TimeoutErrorL'esecuzione non ha risposto in tempo. Una pagina lenta, non la prova che l'applicazione non funzioni.
UNREACHABLEUn nome non risolto, una connessione rifiutata o un computer non in linea, prima che venisse osservata qualsiasi paginaÈ stato del tutto impossibile raggiungere l'host.
BLOCKEDUn 403 o un 429, un CAPTCHA, una pagina di accesso negato o una verifica anti-botIl sito si è difeso e la richiesta non ha mai raggiunto il tuo prodotto.
CRASHEDTarget closed, Page crashed, un errore del protocollo DevTools, SessionNotCreatedErrorIl browser o il driver si è arrestato: controlla il computer e il driver.

Dove trovare le regole complete

Questa pagina è una sintesi. Come vengono determinati i 15 verdetti riporta le regole complete, nell'ordine in cui il motore le applica, con i limiti del metodo. L'indice dei verdetti illustra ogni verdetto in una pagina dedicata.

Domande frequenti

  • Un esito positivo con riserva è considerato positivo in CI?

    Sì. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION e SECURITY_VIOLATION restituiscono il codice di uscita 0, quindi non bloccano la compilazione. La riserva compare nel rapporto e nella Cronologia.

  • Un TIMEOUT significa che l'applicazione funziona?

    No. Un TIMEOUT non dimostra che l'applicazione funzioni. Indica che l'esecuzione non consente di stabilirlo, quindi non viene segnalato come errore dell'applicazione. Un test che supera il tempo limite a ogni esecuzione merita un controllo.

  • I controlli di accessibilità o sicurezza possono cambiare un verdetto?

    Solo se li rendi rigorosi nelle Impostazioni. In tal caso, per un test superato, possono trasformare il verdetto in SECURITY_VIOLATION, A11Y_VIOLATION o PERFORMANCE_DEGRADED, in quest'ordine. Il verdetto di un test non superato non viene mai aggravato.

  • Quanto è affidabile la classificazione?

    Si basa sul testo dell'errore, quindi un messaggio di asserzione personalizzato che contiene 403 o Forbidden può essere interpretato come BLOCKED. Usa messaggi personalizzati specifici e apri metadata.json quando un verdetto ti sorprende.

Eseguilo sulla tua macchina.

Prova gratis tutte le funzionalità, sulle tue macchine. Non serve una carta.