Een kwaliteitsreview verhoogt de kwaliteit meetbaar

Wat zijn reviews?

Een review is, plat gezegd, een beoordeling van een document. Reviews kunnen om de volgende redenen worden uitgevoerd:

• om te evalueren of het document goed is of niet goed;
• om ideeën uit te wisselen en te zien of collega’s interessante aanvullingen hebben;
• om ergens overeenstemming over te verkrijgen en te checken of men het eens is met de inhoud van het document;
• om anderen te informeren, zodat ze op de hoogte zijn en ze later niet meer gaan zeuren.

Alle soorten documenten zijn te reviewen. De reviewtechniek wordt vaak toegepast bij documenten waarvan de kwaliteit belangrijk is voor vervolgactiviteiten, zoals:

• specificerende documenten, in IT-ontwikkeling zijn dat bij voorbeeld architecturen en ontwerpen;
• projectplannen;
• offertes en contracten.

Een review is vooral nuttig om de kennis en ervaring van meerdere personen te benutten. Met elkaar schrijven is vaak lastig te organiseren en meestal is er dan ook één auteur en dragen anderen bij. Reviews kunnen ook heel goed een controlemiddel zijn, bijvoorbeeld wanneer een document pas wordt vrijgeven voor vervolgactiviteiten, nadat een beoordeling is gegeven door aangewezen personen.

Overzicht van reviewtechnieken

Er zijn in essentie 3 verschillende reviewtechnieken te onderscheiden:

1. distributie voor commentaar,
2. peer review,
3. kwaliteitsreview.

Distributie voor commentaar

Heel vaak worden documenten gedistribueerd voor commentaar. Er is een document geschreven en de auteur vraagt anderen om een reactie. Dit kan op initiatief van de auteur, maar het kan ook zijn dat er is afgesproken dat bepaalde documenten altijd worden verspreid voor reviewcommentaar. Het is een goed middel om anderen te informeren en gelijktijdig een inhoudelijke reactie te krijgen. Of het document wordt gelezen, of het goed wordt gelezen en of een reactie volgt, hangt af van de ontvanger en of die ontvanger tijd beschikbaar heeft en belang heeft bij de inhoud van het document.

Peer review

Een peer review is een review door collega’s of andere deskundigen die op gelijk niveau staan met de auteur. Ook dit kan eigen initiatief zijn van de auteur zijn of een afgesproken standaardwerkwijze. In het laatste geval is het niet vrijblijvend een document wel of niet te reviewen.

Kwaliteitsreview

In de bekende projectmanagementaanpak Prince2 heet de kwaliteitsreview Quality Review Technique. Grondlegger van deze techniek is Michael Fagan (IBM, 1976). Doel is het vinden van fouten. De techniek is hierin erg effectief en efficiënt. Gevonden fouten worden normaliter gecorrigeerd, waardoor het document in kwaliteit verbetert. Het aantal gevonden fouten wordt gebruikt als criterium om het document goed te keuren of af te keuren.

Wanneer welke reviewtechniek?

De reviewtechniek ‘distributie voor commentaar is ‘gemakkelijke in te voeren. De meeste auteurs vinden het prima hun document te verspreiden, zolang ze zelf kunnen bepalen wat ze met het commentaar doen. Ook vinden mensen het prima een document toegestuurd te krijgen, als ze maar zelf kunnen bepalen of ze de tijd nemen om het te lezen en commentaar te geven. Het is vooral “vrijheid blijheid”. Uit het oogpunt van efficiency is het belangrijk om afspraken te maken welke documenten naar welke personen worden gedistribueerd. Het Postvak IN zit toch al te vol en het kost de organisatie onnodig veel tijd als de verkeerde personen (te veel) tijd besteden aan reviewen.
Ook peer reviews zijn, om dezelfde redenen, gemakkelijk in te voeren. Er geldt meestal een zekere mate van “vrijheid blijheid” met daartegenover weinig of geen zekerheid over de kwaliteit van het document. Peer reviews zijn vooral zinvol in een conceptueel stadium van een document. Er dient dan nog wel tijd beschikbaar te zijn om grote aanpassingen door te voeren.
De kwaliteitsreview is niet vrijblijvend. Daardoor is deze review lastiger in te voeren. Daartegenover staat een aantal belangrijke voordelen:

1. Het goed- en afkeuren van documenten gebeurt objectief.
2. Het aantal fouten in documenten wordt substantieel lager en de kwaliteit van de documenten daarmee hoger.
3. Het aantal fouten (per pagina) kan worden gebruikt als kwaliteitsindicator. Hiermee kunnen benchmarken en trendanalyses worden uitgevoerd.

Niet voor alle documenten is de kwaliteit even belangrijk. Als fouten in het vervolgproces gemakkelijk en zonder al te veel consequenties gecorrigeerd kunnen worden, kan er prima gewerkt worden met een document van matige kwaliteit. In veel gevallen echter is de kwaliteit van een document wel degelijk belangrijk. Zeker als het gaat om het resultaat van onderhandelingen, tussen bijvoorbeeld klant en leverancier (contract), opdrachtgever en projectmanager (projectplan), of tussen stakeholders van een nieuw informatiesysteem (requirements). Als er later fouten blijken te zitten in zulke documenten, ontstaan problemen die vaak lastig zijn op te lossen. Er moet meestal opnieuw worden onderhandeld en dat kost (doorloop)tijd en geld. Daarom is het altijd beter om vooraf de kwaliteit vast te stellen. In de meeste metingen blijkt een fout vroegtijdig herstellen 10 tot 20 keer goedkoper te zijn dan een fout in een later stadium herstellen.

Invoeren van de kwaliteitsreview

Bij een kwaliteitsreview is er een moderator die het proces organiseert. Deze doet een ingangscontrole op het document: voldoet het document aan de gestelde eisen en is het zo ver af dat review zin heeft? Vervolgens verspreidt de moderator het document naar de reviewers en plant hij een vergadering om de reviewcommentaren te inventariseren en te bespreken. De moderator bewaakt de kwaliteit van het reviewproces. De review heeft immers alleen waarde als iedereen zich aan de afspraken houdt.
Heel paradoxaal blijkt het juist bij documenten waar de kwaliteit er toe doet, lastig te zijn de kwaliteitsreview uit te voeren. Dit komt doordat het bijna altijd gaat om het resultaat van een onderhandeling en/of om het maken van ontwerpkeuzes. Documenten kunnen dan altijd beter en er zijn ook altijd belanghebbenden die nog wensen hebben.
We bespreken nu de achtereenvolgende stappen.

Stap 1: Beschrijf (ontwerp) de standaardaanpak voor kwaliteitsreviews

Er kan een standaardaanpak worden afgesproken voor een project, een programma, een afdeling of een organisatie. Het volgende is daarbij van belang:

• welke documenten mogen of moeten worden gereviewd;
• aan welke (inhoudelijke en vorm)eisen de documenten moeten voldoen
  (maak dit specifiek per soort document);
• welke functionarissen of personen welke aspecten mogen of moeten reviewen;
• wie de rol van moderator invult;
• hoe moderator en reviewers worden getraind en gecoached;
• wat de ingangseisen zijn voor de review;
• wat de doorlooptijd is van de review;
• wat de duur is van de reviewsessie;
• hoe er wordt omgegaan met gevonden fouten en met de controle op herstel hiervan;
• formulieren voor reviewcommentaren en -resultaten.

Een goede regel is om het aantal afspraken in het begin beperkt te houden. Aan de hand van ervaringen kan uitgebreid worden.

Stap 2: Beproef de standaard aanpak (pilots)

Je past de standaard een aantal malen toe voordat je deze definitief maakt. Voor veel mensen is dit een verrassende ervaring. Zo kan een document waarvan je zeker wist dat het kwalitatief uitstekend is, toch nog een flink aantal fouten blijken te bevatten. En het omgekeerde kan natuurlijk ook.
N.B. De pilots kunnen heel goed onderdeel zijn van een training.

Stap 3: Invoeren en verbeteren van de standaard aanpak

De standaardaanpak voor de kwaliteitsreview voer je in zoals elk ander proces: communiceren, opleiden, coachen, monitoren van het proces en maatregelen nemen als het niet loopt zoals het moet lopen. Veel voorkomende problemen zijn: discussie over de norm, reviewers hebben (krijgen) geen tijd, vergadering is agendatechnisch niet te plannen, te veel inhoudelijke discussie tijdens de plenaire sessie, auteur accepteert reviewresultaat niet. Voorspelbaar dus beheersbaar. Houd er in elk geval rekening mee bij het definiëren van de standaard en in het invoeringsplan.

Stap 4: Meten (statistical proces control)

Stap 4 is alleen van toepassing als je kwaliteitsreviews structureel gaat invoeren, dus niet voor één of twee documenten of voor één project.
De metingen betreffen:

1. het aantal in de kwaliteitsreviews gevonden fouten;
2. de tijd die besteed is aan de kwaliteitsreviews;
3. het aantal gevonden fouten na de kwaliteitsreview;
4. de tijd die besteed is aan het herstel van die fouten.

Met deze informatie ben je in staat om de effectiviteit van de kwaliteitsreviews aan te tonen en het proces te optimaliseren.

Wat levert het je op?

Er valt veel geld te verdienen met een goed reviewproces. Je verhoogt de kwaliteit van je documenten. Zeker als het gaat om ontwerpen, zoals bij voorbeeld architecturen, requirements, functioneel ontwerpen, projectplannen. Een goede kwaliteit van dit soort specificerende documenten voorkomt onaangename verrassingen in het vervolgtraject.

Hieronder vind je een voorbeeld van een ICT-bedrijf dat maatwerkapplicaties ontwikkelt. De kwaliteitsreview is ingevoerd op de requirementsanalyse.

Na vijf maanden (gemiddelde ontwikkeltijd voor een applicatie) zag het IT-bedrijf na metingen een sterke daling van het aantal fouten tijdens acceptatietesten. Het aantal fouten per oplevering dat terug te voeren was op requirements was van gemiddeld 3 naar 1 gereduceerd.
De gemiddelde kosten van een kwaliteitsreview bedroegen € 1.000, de gemiddelde kosten voor het oplossen van een requirementsfout tijdens testen € 8.000,-. Conclusie: elke kwaliteitreview van € 1.000 heeft gemiddeld 2 requirementsfouten voorkomen ter waarde van € 16.000,- totaal.