Een tool voor chaostests voor je bestaande tests.
Chaos Lab in Nexus StudioQA injecteert een storing in de browser terwijl een van je tests wordt uitgevoerd: netwerkvertraging, een periode zonder verbinding, een tragere CPU of een falende afhankelijkheid. De uitvoering eindigt met CHAOS_RESILIENT als de test standhield, CHAOS_BREACHED als dat niet zo was, en CHAOS_NOT_INJECTED als de storing nooit effect had, wat niets zegt over de weerbaarheid.
Door het Nexus StudioQA-team, Verdict System LLC.
Laatst bijgewerkt: .
De storingsmodi
| Modus | Wat het doet | Standaard |
|---|---|---|
| netwerk | Vertraagt elk verzoek met een ingestelde tijd; ongeveer 20% krijgt een paar honderd milliseconden extra | 400 ms |
| offline | Verbreekt de netwerkverbinding één keer, op een willekeurig moment in de eerste 30 seconden | 5000 ms |
| cpu | Vertraagt de CPU met een factor 4; alleen Chromium | 4x, vast |
| alles | Netwerk, CPU en offline samen | Bovenstaande standaardwaarden |
| afhankelijkheid | Beantwoordt één door jou opgegeven URL met 429, 500, 503, vertraging, vastlopen of een afgebroken antwoordinhoud | Door jou ingesteld |
Pakketverlies en geheugendruk kunnen aan elke modus worden toegevoegd. Bij een afhankelijkheidsstoring wordt ook gelet op een storm van herhaalpogingen: meer dan 10 verzoeken aan de getroffen URL binnen 10 seconden. Je voert een storing uit met nexus patrol TC01 --chaos=network, of vanuit het scherm Chaos Lab.
Hoe een chaosuitvoering wordt beoordeeld
| Oordeel | Betekenis |
|---|---|
| CHAOS_RESILIENT | De test is geslaagd terwijl de storing actief was |
| CHAOS_BREACHED | De test is mislukt onder invloed van de storing |
| CHAOS_NOT_INJECTED | De test is geslaagd, maar er trad geen storing op, bijvoorbeeld cpu in Firefox. Dit is geen resultaat en wordt bij geen enkel percentage meegerekend |
De pagina met oordelen bevat de volledige regels. Chaosuitvoeringen worden in een eigen bewijsmap opgeslagen, zodat een geïnjecteerde fout nooit meetelt voor de stabiliteit van de echte testsuite.
Stabiele toestand, niet alleen controles
Een test kan slagen en toch veel trager zijn onder invloed van de storing. Chaos Lab vergelijkt elke uitvoering met de mediane duur van dezelfde test en browser zonder storing. Een uitvoering die meer dan 2 keer zo lang duurt als die basiswaarde wordt als afwijkend gemarkeerd (de tolerantie is NEXUS_CHAOS_TOLERANCE). Ook worden de Web Vitals vastgelegd die tijdens de storing zijn gemeten. Na verloop van tijd krijgt elke test een weerbaarheidslabel: RESILIENT bij 90% of meer, TOLERANT bij 70%, FRAGILE bij 50%, VULNERABLE daaronder.
Infrastructuurstoringen
nexus chaos-infra <target> --action=pause|stop|kill|restart --for=<seconds> schakelt een geregistreerde Docker-container of de door Nexus gestarte app opzettelijk uit en meet of deze weer opstart: RESILIENT, DEGRADED of NOT_RECOVERED. Hiervoor is vooraf toestemming nodig, en --restore maakt een achtergebleven storing ongedaan.
Wat er niet onder valt
API-tests worden zonder chaos uitgevoerd. Selenium op Firefox wordt bij chaos overgeslagen, omdat de test zonder storing zou slagen. --chaos en --visual kunnen niet worden gecombineerd.
Veelgestelde vragen
Moet ik mijn tests herschrijven voor chaos?
Nee. De storing wordt toegepast rond je bestaande tests, in Playwright of in Python en Selenium op Chromium. Voer elke test eerst eenmaal zonder storing uit, zodat de controle van de normale toestand een referentiewaarde heeft.
Wat betekent CHAOS_NOT_INJECTED?
De test is geslaagd, maar de storing is nooit actief geworden. CPU-beperking werkt bijvoorbeeld alleen in Chromium. Dit telt niet als weerbaar of geschonden en kan een percentage dus niet verhogen of verlagen.
Kan chaos mijn productiesysteem beschadigen?
Browserstoringen beïnvloeden de geteste pagina, niet je servers. Infrastructuurstoringen beïnvloeden containers die je registreert, vereisen vooraf toestemming en kunnen met een herstelactie ongedaan worden gemaakt. Richt geen van beide op een systeem dat niet van jou is.
Telt een mislukte chaostest als een softwarefout?
Het is een bevinding over weerbaarheid, die apart van de normale testsuite wordt opgeslagen. De stabiliteitscijfers van de echte tests veranderen er niet door.
Ontdek wat er gebeurt als het misgaat.
Alles draait op je eigen machines. Geen creditcard nodig.