Verdetti forensi dei test: 15 esiti anziché superato o fallito.
I verdetti forensi dei test sostituiscono superato o fallito con un esito specifico che indica a chi è attribuibile il risultato. Nexus StudioQA assegna a ogni esecuzione uno dei 15 verdetti: un superamento senza riserve, un superamento con riserva, un'applicazione malfunzionante, un test non aggiornato o un problema dell'ambiente, come un timeout o un blocco anti-bot. Solo un fallimento attribuibile all'applicazione costituisce una segnalazione di difetto.
A cura del gruppo Nexus StudioQA, Verdict System LLC.
Ultimo aggiornamento: .
I 15 verdetti, per gruppo
I 15 verdetti sono SECURE, CHAOS_RESILIENT, AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION, BREACHED, BREACHED_FLAKY, CHAOS_BREACHED, TEST_DRIFT, TIMEOUT, UNREACHABLE, BLOCKED e CRASHED.
| Gruppo | Verdetti | Codice di uscita CI | È una segnalazione di bug? |
|---|---|---|---|
| Superato | SECURE, CHAOS_RESILIENT | 0 | No |
| Superato con riserva | AUTO_RECOVER, FLAKY, PERFORMANCE_DEGRADED, A11Y_VIOLATION, SECURITY_VIOLATION | 0 | No, ma il rapporto e la Cronologia mostrano la riserva |
| L'applicazione ha smesso di funzionare | BREACHED, BREACHED_FLAKY, CHAOS_BREACHED | 1 | Sì |
| Il test non è aggiornato | TEST_DRIFT | 1 | Sì, a carico del test: correggi la riga |
| Il problema è nell'ambiente | TIMEOUT, UNREACHABLE, BLOCKED, CRASHED | 1 | No |
Come il motore sceglie il verdetto
Tre domande, in ordine
Il test ha prodotto un risultato? Se è stato superato, lo è stato senza riserve? Se è fallito, a chi è attribuibile il problema: all'infrastruttura di test, all'ambiente o all'applicazione?
Un ordine fisso di schemi
In caso di fallimento, il motore confronta il messaggio di errore e il registro di rete con gruppi di schemi in un ordine fisso. Il primo gruppo che trova una corrispondenza determina il verdetto, quindi l'ordine fa parte della progettazione. Sono contemplate sia le formulazioni di Playwright sia quelle di Selenium WebDriver.
Non tutto riceve un verdetto
SKIPPED, INTERRUPTED e CONFIG_ERROR non rientrano nei 15, perché nessuno di questi esiti dice qualcosa sulla tua applicazione. Non generano né una cartella delle evidenze né una riga nella cronologia.
Come viene classificato un fallimento dovuto all'ambiente
| Verdetto | Cosa ha osservato il motore | Cosa significa |
|---|---|---|
| TIMEOUT | Timeout 30000ms exceeded di Playwright, Wait timed out after di Selenium, un TimeoutError | L'esecuzione non ha risposto in tempo. Una pagina lenta, non la prova che l'applicazione non funzioni. |
| UNREACHABLE | Un nome non risolto, una connessione rifiutata o un computer non in linea, prima che venisse osservata qualsiasi pagina | È stato del tutto impossibile raggiungere l'host. |
| BLOCKED | Un 403 o un 429, un CAPTCHA, una pagina di accesso negato o una verifica anti-bot | Il sito si è difeso e la richiesta non ha mai raggiunto il tuo prodotto. |
| CRASHED | Target closed, Page crashed, un errore del protocollo DevTools, SessionNotCreatedError | Il browser o il driver si è arrestato: controlla il computer e il driver. |
Dove trovare le regole complete
Questa pagina è una sintesi. Come vengono determinati i 15 verdetti riporta le regole complete, nell'ordine in cui il motore le applica, con i limiti del metodo. L'indice dei verdetti illustra ogni verdetto in una pagina dedicata.
Domande frequenti
Un esito positivo con riserva è considerato positivo in CI?
Sì. FLAKY, AUTO_RECOVER, PERFORMANCE_DEGRADED, A11Y_VIOLATION e SECURITY_VIOLATION restituiscono il codice di uscita 0, quindi non bloccano la compilazione. La riserva compare nel rapporto e nella Cronologia.
Un TIMEOUT significa che l'applicazione funziona?
No. Un TIMEOUT non dimostra che l'applicazione funzioni. Indica che l'esecuzione non consente di stabilirlo, quindi non viene segnalato come errore dell'applicazione. Un test che supera il tempo limite a ogni esecuzione merita un controllo.
I controlli di accessibilità o sicurezza possono cambiare un verdetto?
Solo se li rendi rigorosi nelle Impostazioni. In tal caso, per un test superato, possono trasformare il verdetto in SECURITY_VIOLATION, A11Y_VIOLATION o PERFORMANCE_DEGRADED, in quest'ordine. Il verdetto di un test non superato non viene mai aggravato.
Quanto è affidabile la classificazione?
Si basa sul testo dell'errore, quindi un messaggio di asserzione personalizzato che contiene 403 o Forbidden può essere interpretato come BLOCKED. Usa messaggi personalizzati specifici e apri metadata.json quando un verdetto ti sorprende.
Eseguilo sulla tua macchina.
Prova gratis tutte le funzionalità, sulle tue macchine. Non serve una carta.