Uno strumento di test del caos per i tuoi test esistenti.
Chaos Lab in Nexus StudioQA introduce un guasto nel browser durante l'esecuzione di uno dei tuoi test: latenza di rete, un intervallo di disconnessione, una CPU più lenta o una dipendenza malfunzionante. L'esecuzione termina con CHAOS_RESILIENT se il test ha retto, CHAOS_BREACHED in caso contrario e CHAOS_NOT_INJECTED se il guasto non ha mai avuto effetto, il che non dice nulla sulla resilienza.
A cura del gruppo Nexus StudioQA, Verdict System LLC.
Ultimo aggiornamento: .
Le modalità di guasto
| Modalità | Cosa fa | Predefinito |
|---|---|---|
| network | Ritarda ogni richiesta per un tempo prestabilito; circa il 20% subisce un ritardo aggiuntivo di qualche centinaio di millisecondi | 400 ms |
| offline | Interrompe la rete una sola volta, in un momento casuale nei primi 30 secondi | 5000 ms |
| cpu | Rallenta la CPU di un fattore 4; solo Chromium | 4x, fisso |
| all | Rete, CPU e disconnessione insieme | Valori predefiniti sopra indicati |
| dependency | Risponde a un URL indicato da te con 429, 500, 503, una risposta lenta, bloccata o con il corpo troncato | Impostato da te |
La perdita di pacchetti e la pressione sulla memoria possono aggiungersi a qualsiasi modalità. Un guasto di dipendenza monitora anche un'eventuale raffica di tentativi: più di 10 richieste all'URL interessato dal guasto nell'arco di 10 secondi. Puoi introdurre un guasto con nexus patrol TC01 --chaos=network, oppure dalla schermata Chaos Lab.
Come viene valutata un'esecuzione con guasti
| Verdetto | Significato |
|---|---|
| CHAOS_RESILIENT | Il test è stato superato con il guasto attivo |
| CHAOS_BREACHED | Il test non è stato superato in presenza del guasto |
| CHAOS_NOT_INJECTED | Il test è stato superato, ma nessun guasto ha avuto effetto, ad esempio cpu su Firefox. Non costituisce un risultato ed è escluso dal calcolo di tutte le percentuali |
La pagina dei verdetti contiene tutte le regole. Le esecuzioni con guasti sono archiviate in una cartella di evidenze dedicata, così un errore indotto non incide mai sulla stabilità della suite reale.
Stato stazionario, non solo asserzioni
Un test può essere superato e risultare comunque molto più lento in presenza del guasto. Chaos Lab confronta ogni esecuzione con la durata mediana dello stesso test sullo stesso browser senza guasti. Un'esecuzione che impiega più del doppio di quel valore di riferimento viene contrassegnata come anomala (la tolleranza è NEXUS_CHAOS_TOLERANCE). Registra anche i Web Vitals misurati in presenza del guasto. Nel tempo, ogni test riceve un'etichetta di resilienza: RESILIENT dal 90% in su, TOLERANT dal 70%, FRAGILE dal 50%, VULNERABLE al di sotto.
Guasti dell'infrastruttura
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> mette intenzionalmente fuori servizio un container Docker registrato, o l'app avviata da Nexus, e ne misura il ripristino: RESILIENT, DEGRADED o NOT_RECOVERED. Richiede l'autorizzazione prima di agire, e --restore annulla un guasto rimasto attivo.
Cosa non copre
I test delle API vengono eseguiti senza chaos. Selenium su Firefox viene escluso in modalità chaos, perché supererebbe i test senza alcun guasto. --chaos e --visual non possono essere combinati.
Domande frequenti
Devo riscrivere i miei test per il chaos?
No. Il guasto viene applicato durante l'esecuzione dei test che hai già, in Playwright, o in Python e Selenium su Chromium. Esegui prima ogni test una volta senza guasti, così la verifica dello stato stazionario avrà un riferimento.
Cosa significa CHAOS_NOT_INJECTED?
Il test è stato superato, ma il guasto non ha mai avuto effetto. Ad esempio, la limitazione della CPU funziona solo in Chromium. Non viene conteggiato né come resiliente né come violazione, quindi non può aumentare o ridurre un tasso.
Il chaos può danneggiare il mio sistema di produzione?
I guasti del browser agiscono sulla pagina sottoposta a test, non sui tuoi server. I guasti dell'infrastruttura agiscono sui container che registri, richiedono prima l'autorizzazione e possono essere annullati con un ripristino. Non indirizzare nessuno dei due verso un sistema che non ti appartiene.
Un fallimento dovuto al chaos conta come errore?
È un riscontro sulla resilienza, archiviato separatamente dalla normale suite. Non modifica le statistiche di stabilità dei test effettivi.
Scopri cosa succede quando qualcosa va storto.
Tutto viene eseguito sulle tue macchine. Non serve una carta di credito.