Go/No-Go-releasebeslissing op basis van je testuitvoeringen.
Het managementrapport van Nexus StudioQA zet je testgeschiedenis om in een releasebeslissing. Het berekent de gemiddelde stabiliteitsscore van je tests en geeft vervolgens Go bij een score van minstens 90 zonder openstaande fouten, Voorzichtig bij een score van minstens 70 en No-Go bij een lagere score. Het rapport vermeldt elk criterium met de gemeten waarde.
Door het Nexus StudioQA-team, Verdict System LLC.
Laatst bijgewerkt: .
De exacte regel
| Beslissing | Regel | Formulering in het rapport |
|---|---|---|
| Go | Betrouwbaarheidsscore van 90 of meer en geen openstaande fouten | Release: go |
| Voorzichtig | Betrouwbaarheidsscore van 70 of meer, wanneer niet aan Go wordt voldaan | Release: voorzichtig |
| No-Go | Betrouwbaarheidsscore lager dan 70 | Release: no-go |
De drempelwaarden 90 en 70 zijn vaste getallen in de rapportcode, geen instellingen. Het voorblad en de samenvatting vermelden de drie criteria met de bijbehorende gemeten waarden, zodat een No-Go aangeeft aan welk criterium niet is voldaan in plaats van alleen rood te tonen.
Waar de score vandaan komt
Elke test krijgt een stabiliteitslabel op basis van zijn geschiedenis. De betrouwbaarheidsscore is het afgeronde gemiddelde van die labels.
| Label | Punten | Wanneer de geschiedenis dit oplevert |
|---|---|---|
| STABLE | 100 | Slagingspercentage van 90% of meer en een percentage wisselvallige resultaten onder 5% |
| UNSTABLE | 70 | Slagingspercentage van 70% of meer |
| FLAKY | 40 | Daaronder, met een percentage wisselvallige resultaten van 15% of meer |
| CRITICAL | 0 | Al het overige |
Een instabiele uitvoering telt als instabiel, niet als geslaagd. Een test die pas bij nieuwe pogingen slaagt, verlaagt dus de score. Openstaande fouten zijn de foutregistraties in de map met bewijsmateriaal die niet als vals alarm zijn uitgesloten en sindsdien niet zijn verholpen.
Wat het managementrapport bevat
Het rapport wordt samengesteld op basis van het bewijsmateriaal op je computer en opent als HTML, met een export naar PDF. Het bevat een managementsamenvatting met de vorige periode ter vergelijking, een dagelijkse trend, een risicoregister gerangschikt op ernst, dekking per gebied, openstaande fouten met hun hoofdoorzaak, teststabiliteit, looptijden en foutcategorieën, aanbevelingen, een goedkeuringspagina en een bijlage. Je kunt het rapport beperken tot de afgelopen 7, 30 of 90 dagen, de volledige geschiedenis of een datumbereik.
Veelgestelde vragen
Kan ik de drempelwaarden van 90 en 70 wijzigen?
Nee. Ze liggen vast in de rapportcode. Je bepaalt wel welke periode het rapport bestrijkt en welke fouten als vals alarm worden uitgesloten.
Blokkeert één openstaande fout een Go?
Ja. Go vereist een score van minstens 90 en geen openstaande fouten. Met één openstaande fout is Voorzichtig het best mogelijke resultaat, zolang de score minstens 70 is.
Heeft het rapport een internetverbinding nodig?
Nee. Het wordt samengesteld op basis van tests, resultaten en bewijsmateriaal op je eigen computer. De enige verbinding die Studio zelf maakt, is voor de licentiecontrole.
Vervangt de beslissing een menselijke goedkeuring?
Nee. Het is een hulpmiddel. Het rapport heeft een goedkeuringspagina voor degene die beslist, en de aanbevelingen vermelden wat er vóór de release gecontroleerd moet worden.
Krijg een releasebeslissing met het bijbehorende bewijsmateriaal.
Alles draait op je eigen machines. Geen creditcard nodig.