Rangschikkingstechnieken gebruik je om de belangrijkste opties te selecteren om middelen doelgericht in te zetten. Dit leidt tot efficientere en effectievere besluitvorming.
Tegen welk probleem loop je aan?
Het is belangrijk om te prioriteren om daarmee de belangrijkste onderwerpen als eerste te behandelen. In het digitale veiligheidsdomein werken we echter continu op basis van een onvolledige informatiepositie. Daardoor moeten we ons realiseren dat het prioriteren van onderwerpen op belang altijd met een bepaalde onzekerheidsmarge gebeurt. Dat is zeker het geval als er teveel keuzes zijn en niet op alle opties gefocust kan worden. Tenslotte is het net zo belangrijk om draagvlak te creëren voor de gemaakte keuzes en de input van de betrokken stakeholders op de juiste wijze mee te nemen.
Een concreet voorbeeld hiervan is het opstellen van een jaarplan om de digitale weerbaarheid van jouw organisatie te verhogen. Het aantal mogelijkheden is virtueel oneindig: van het opstellen van een actieplan om klaar te zijn voor aanvallen via quantumcomputers tot het verbeteren van de governanceprocessen: keuzes zijn er genoeg. Je hebt echter beperkte middelen, zowel financieel als in menselijk kapitaal.
Hoe helpt deze analysetool jou?
Rangschikkingstechnieken hebben als doel om te bepalen wat, van alle geïdentificeerde opties, de belangrijkste is. Daardoor kun je jouw schaarse middelen gebruiken om de belangrijkste onderwerpen aan te pakken. Een rangschikking maak je door kwalitatief een relatieve prioritering te geven onder de beschikbare opties.
Wie moet deze analysetool gebruiken?
Bijna elke rol binnen het digitale veiligheidsdomein kan deze analysetool gebruiken als er sprake is van een situatie waarin er zowel een veelheid aan opties zijn als er meerdere betrokken individuen of stakeholders zijn. Zo zien we dat deze techniek vaak in teamverband toegepast wordt.
Rangschikkingstechnieken worden vooral gebruikt als prioritering significante effecten heeft op de rest van de analyse. Naast focus aanbrengen helpt rangschikking om een gedragen keuze onder de betrokkenen te realiseren aangezien alle stakeholders input kunnen en moeten leveren.
Na de analysefase van een risicoanalyse, moet een CISO bepalen welke risico’s het grootst zijn en dus het meeste aandacht vragen. Door alle risico’s tezamen met de betrokken experts en stakeholders te rangschikken, zorgt de CISO ervoor dat (1) duidelijk wordt welke risico’s als het grootst gezien worden en (2) dat er draagvlak is voor deze keuze aangezien alle meningen meegenomen zijn.
Wanneer gebruik je deze analysetool?
Deze analysetool komt het best tot haar recht als ze toegepast wordt nadat de creatieve fase van een analyse plaatsgevonden heeft. Het is van belang dat alle relevante variabelen in zicht zijn, daarna is het relevant om focus aan te brengen en dat is wat deze analysetool doet door aan te geven welke opties als het belangrijkste gezien worden. Wat “belangrijk” betekent, verschilt per analyse en moet door de organisator (al dan niet in samenspraak met de deelnemers) vastgesteld worden.
De CISO uit het voorbeeld hiervoor heeft een risicoanalyse uitgevoerd. Daar zijn risico’s uit ontstaan en hij staat aan de lat om een plan te ontwikkelen om deze risico’s passend te mitigeren. Het is onmogelijk om alle gevonden risico’s in één keer te behandelen. Dus verzamelt de CISO de relevante stakeholders, zoals technische experts, veiligheidsexperts en verantwoordelijke managers. De CISO gebruikt een rangschikkingstechniek om in een gezamenlijke sessie de risico’s onderling af te wegen en te bepalen welke risico’s als het grootst gezien worden.
Met welke randvoorwaarden moet je rekening houden?
Het is belangrijk om vooraf goed na te denken over wat je precies wilt rangschikken en waarop je je keuzes baseert. Sommige methoden, zoals Ranked Voting, zijn snel en makkelijk, maar geven minder diepgang. Andere methoden, zoals Weighted Ranking, zijn uitgebreider, maar kosten meer tijd. Bedenk goed waarop je wilt rangschikken. Wat betekent “belangrijk”?
Er zijn verschillende manieren van rangschikken. Elk middel heeft een eigen doel. Bedenk dus goed welke methode past bij je doel en bij de tijd die je hebt.
Zorg ervoor dat je de juiste stakeholders betrekt bij de analyse.
Hoe gebruik je deze analysetool?
We behandelen hier drie analysemethodes om een rangschikking aan te brengen. Dit zijn de volgende:
Bij Ranked Voting geven alle deelnemers individueel aan welke mogelijkheden zij het belangrijkst vinden. Door de scores van alle deelnemers op te tellen, ontstaat een rangschikking. Dit is de makkelijkste en snelste methode van rangschikken.
Bij Paired Comparison vergelijken de deelnemers alle variabelen ten opzichte van elkaar. Je kijkt welke van de twee belangrijker is, en zo ontstaat een duidelijke rangorde. Deze methode kost meer tijd maar levert een gedetailleerdere rangschikking aan.
Bij Weighted Ranking kijk je niet alleen wat belangrijk is, maar ook waarom. Je gebruikt bepaalde criteria en geeft daar een waarde (gewicht) aan. Dit geeft een preciezere uitkomst met meer diepgang.
Operationele stappenplannen:
De organisator zorgt ervoor dat de juiste deelnemers aanwezig zijn. Ook zorgt hij ervoor dat er genoeg tijd is om de rangschikking uit te voeren. Vaak duurt een sessie zoals dit maximaal twee uur.
De organisator geeft een toelichting op de beschikbare mogelijkheden en de doelstelling van de dag. Deelnemers hebben op dat moment de kans om definitievragen te stellen zodat voor de gehele groep helder is waar de opties uit bestaan.
De organisator licht daarna toe op basis van welk onderwerp er gerangschikt moet worden door de deelnemers.
Daarna krijgt elke deelnemer pen en papier.
De deelnemers maken individueel en in stilte een eigen rangschikking. Als er tien mogelijkheden zijn, dan zal de belangrijkste variabele tien punten krijgen en de minst belangrijk één punt.
Elk groepslid geeft een eigen rangorde aan de onderwerpen of opties. Ze zetten de onderwerpen in de volgorde van wat zij het belangrijkst vinden of waar hun voorkeur naar uitgaat.
Na een vooraf afgesproken tijdvak, bijvoorbeeld 15 minuten, worden de stemformulieren ingeleverd.
De organisator telt alle individuele punten bij elkaar op.
Het onderwerp met het hoogste totaal komt op nummer één en wordt dus als het belangrijkste gezien.
Optioneel: de uitkomst kan de basis zijn van een vervolggesprek. Bijvoorbeeld om de perspectieven van de deelnemers op tafel te krijgen. Na de discussie kan er opnieuw gestemd worden om vast te stellen of deelnemers door het gesprek van mening zijn veranderd.
Een CISO heeft te maken met verschillende systeembeheerders, managers en het bestuur. Allemaal hebben ze een sterke mening over wat de te beschermen belangen (kroonjuwelen) van de organisatie zijn en die meningen lopen op het eerste gezicht sterk uiteen. Daarom nodigt hij ze uit voor een workshop om tezamen een rangschikking aan te brengen. Ter voorbereiding heeft de CISO al een lijst van tien systemen opgesteld die door verschillende stakeholders als cruciaal omschreven worden. De CISO plant twee uur in voor de workshop.
De eerste stap tijdens de workshop is om de doelstelling toe te lichten. De CISO licht toe dat alle systemen belangrijk zijn maar dat hij wil weten welke systemen het meest cruciaal zijn voor de bedrijfsvoering. Deze informatie heeft hij nodig om goed te adviseren over de digitale weerbaarheid van deze systemen.
Dit duurt ongeveer 20 minuten.
Daarna geeft de CISO een toelichting op de rol van elk systeem voor de organisatie. Deelnemers hebben de kans om vragen te stellen zodat ze een goed beeld hebben over het functioneren.
Dit duurt ongeveer 40 minuten.
De CISO deelt stembrieven uit en vraagt elke deelnemer om een individuele rangschikking op te stellen, in stilte.
Dit duurt 15 minuten.
Hierna verzamelt de CISO de stembrieven. De deelnemers gaan koffie halen terwijl de CISO de scores optelt en op een flipover schrijft.
Dit duurt 15 minuten.
De CISO presenteert de resultaten en licht toe wat hij met de opbrengst gaat doen.
Dit duurt 15 minuten.
Het laatste kwartier is gereserveerd voor vragen en onderlinge discussie door deelnemers. Er blijkt consensus over de uitkomsten en de CISO kan met de rangschikking aan de slag.
In deze methode worden alle betrokken onderwerpen vergeleken elkaar. Deze techniek geeft meer informatie dan een simpele ranglijst, omdat het laat zien hoe de onderwerpen zich tot elkaar verhouden qua prioriteit. Je past deze methode als volgt toe:
De organisator zorgt ervoor dat de juiste deelnemers aanwezig zijn. Ook zorgt hij ervoor dat er genoeg tijd is om de rangschikking uit te voeren. Vaak duurt een sessie zoals dit maximaal drie uur.
De organisator geeft een toelichting op de beschikbare mogelijkheden en de doelstelling van de dag. Deelnemers hebben op dat moment de kans om definitievragen te stellen zodat voor de gehele groep helder is waar de opties uit bestaan.
De organisator stelt de vergelijkingstabel op. Alle relevante onderwerpen worden zowel op de rijen als op de kolommen weergegeven.
Dit ziet er als volgt uit:
Onderwerp A
Onderwerp B
Onderwerp C
Onderwerp A
Onderwerp B
Onderwerp C
Elke deelnemer aan de analyse krijgt een lege kopie van deze tabel.
De deelnemers krijgen de volgende opdracht mee:
Vergelijk de opties met elkaar. Oftewel, vergelijk onderwerp A met onderwerp B. Vergelijk daarna onderwerp A met onderwerp C. Doe dat voor alle mogelijke opties.
Bepaal hoe groot je het verschil vindt tussen de twee opties.
Geef een 1 als het verschil klein is
Geef een 2 als het verschil medium is
Geef een 3 als het verschil groot is.
Doe dat voor alle mogelijkheden.
Hierdoor ziet elke ingevulde tabel er ongeveer als volgt uit:
Onderwerp A
Onderwerp B
Onderwerp C
Onderwerp A
A, 3
A1
Onderwerp B
C2
Onderwerp C
Tel de resultaten bij elkaar op door alle cijfers voor elke letter op te tellen en zet dit totaal in de kolom “Score”.
Dat ziet er als volgt uit:
Onderwerp A
Onderwerp B
Onderwerp C
Score
Onderwerp A
A, 3
A1
4
Onderwerp B
C2
0
Onderwerp C
2
Het kan handig zijn om deze cijfers om te zetten naar een percentage van de totale score.
Om dit te doen, deel je het totaal van alle scores (6 in het voorbeeld) door de score van elk afzonderlijk onderwerp.
Dat ziet er als volgt uit:
Onderwerp A
Onderwerp B
Onderwerp C
Score
Percentage
Onderwerp A
A, 3
A1
4
66,66%
Onderwerp B
C2
0
0%
Onderwerp C
2
33,33%
Door de resultaten van meerdere onderzoekers samen te voegen, tel je de scores van iedere deelnemer bij elkaar op. Doe dit per onderwerp, dus alle scores die onderwerp A heeft gekregen moet je optellen.
Een CISO heeft te maken met verschillende managers. Allemaal hebben ze een sterke mening over wat de te beschermen belangen (kroonjuwelen) van de organisatie zijn en onderling verschillen zij daarin. Daarom nodigt hij de drie managers van de business uit voor een workshop om tezamen een rangschikking aan te brengen. Ter voorbereiding heeft de CISO al een lijst van vier systemen opgesteld die door verschillende stakeholders als cruciaal omschreven worden. Ook heeft de CISO de tabellen voor de paired comparison al gemaakt. De CISO plant twee uur in voor de workshop.
De eerste stap tijdens de workshop is om de doelstelling toe te lichten. De CISO licht toe dat alle systemen belangrijk zijn maar dat hij wil weten welke systemen het meest cruciaal zijn voor de bedrijfsvoering. Deze informatie heeft hij nodig om goed te adviseren over de digitale weerbaarheid van deze systemen.
Dit duurt ongeveer 20 minuten.
Daarna geeft de CISO een toelichting op de rol van elk systeem voor de organisatie. Deelnemers hebben de kans om vragen te stellen zodat ze een goed beeld hebben over het functioneren.
Dit duurt ongeveer 40 minuten.
De CISO deelt de tabellen uit en vraagt elke deelnemer om een individuele rangschikking op te stellen, in stilte.
Dit duurt 15 minuten.
Een voorbeeld van een door de deelnemers ingevulde tabel zie je hier:
Systeem A
Systeem B
Systeem C
Systeem D
Score
Systeem A
A, 3
A1
A2
6
Systeem B
C2
D1
0
Systeem C
C3
5
SysteemD
1
Hierna verzamelt de CISO de ingevulde tabellen. De deelnemers gaan koffie halen terwijl de CISO de scores van alle deelnemers bij elkaar optelt en op een flipover schrijft.
Dit duurt 15 minuten.
De CISO presenteert de resultaten en licht toe wat hij met de opbrengst gaat doen.
Dit duurt 15 minuten.
De eindtabel ziet er als volgt uit:
Totaalscore
Percentage
Systeem A
15
45%
Systeem B
3
10%
Systeem C
8
24%
SysteemD
7
21%
Het laatste kwartier is gereserveerd voor vragen en onderlinge discussie door deelnemers.
Omdat de losse tabellen per deelnemer al opgesteld zijn, kan de discussie meer diepgang ontwikkelen. Waarom is systeem A zo belangrijk?
In deze methode worden alle betrokken onderwerpen vergeleken met elkaar op basis van een set van criteria. Deze techniek geeft meer informatie dan een simpele ranglijst. De criteria zorgen ervoor dat de onderwerpen afgewogen worden op specifieke componenten. Je past deze methode als volgt toe:
De organisator zorgt ervoor dat de juiste deelnemers aanwezig zijn. Ook zorgt hij ervoor dat er genoeg tijd is om de rangschikking uit te voeren. Vaak duurt een sessie zoals dit maximaal drie uur.
De organisator geeft een toelichting op de beschikbare mogelijkheden en de doelstelling van de dag. Deelnemers hebben op dat moment de kans om definitievragen te stellen zodat voor de gehele groep helder is waar de opties uit bestaan.
Daarna geeft de organisator toelichting op de criteria. Geef ook hier deelnemers de kans om vragen te stellen zodat ze begrijpen welke criteria er zijn. Daarnaast is het belangrijk om aan te geven hoe zwaar de losse criteria wegen en waarom dat zo is.
De organisator stelt de vergelijkingstabel op. Daarin neem je het volgende op:
De eerste twee kolommen zijn gereserveerd voor “criteria” en “gewicht”. Daarna volgen de relevante onderwerpen.
De rijen geven de criteria weer, inclusief hun gewicht.
Een ingevulde tabel ziet er zo uit:
Criterium
Gewicht
Onderwerp A
Onderwerp B
Onderwerp C
Criterium X
4
3
1
9
Criterium Y
1
3
2
4
Criterium Z
5
4
6
9
Per onderwerp mogen de deelnemers een bepaald aantal punten toekennen. We raden aan om te kiezen voor 10 of 100 om het proces laagdrempelig te houden. Des te hoger het aantal toegekende punten, des te belangrijker het criterium is.
Neem de resultaten in en verwerk ze als volgt:
Vermenigvuldig de ingevulde scores met het gewicht van het criterium
Voeg daarna een extra rij toe genaamd “totaal”.
Tel alle scores per onderwerp.
Tel alle totaalscores bij elkaar op.
Dat ziet er als volgt uit:
Criterium
Gewicht
Onderwerp A
Onderwerp B
Onderwerp C
Totaal
Criterium X
4
3*4=12
1*4=4
9*4=36
Criterium Y
1
3*1=3
5*1=5
4*1=4
Criterium Z
5
4*5=20
6*5=30
9*5=45
Totaal
10
35
39
95
169
Bepaal hierna de eindscore.
Dat doe je door het totaal per onderwerp te delen door het totaalaantal punten.
Criterium
Gewicht
Onderwerp A
Onderwerp B
Onderwerp C
Criterium X
4
12
4
36
Criterium Y
1
3
5
4
Criterium Z
5
20
30
45
Totaal
10
35
39
95
Eindscore
100%
35/169= 21%
39/169=23%
95/169=56%
Als er meerdere deelnemers zijn, dan kun je de scores van de totaal-rij bij elkaar optellen.
Hierdoor veranderen de totaalscores.
Dus veranderen de eindscores als je hetzelfde formulier toepast.
Voorbeeld:
Deelnemer
Criterium X
Criterium Y
Criterium Z
Totaal
Deelnemer A
32
23
75
Deelnemer B
40
58
38
Deelnemer C
24
41
51
Totaal
96
122
164
382
Eindscore
96/382=25%
122/382=32%
164/382=43%
Een CISO heeft te maken met verschillende managers. Allen hebben ze een sterke en onderling afwijkende mening over wat de te beschermen belangen (kroonjuwelen) van de organisatie zijn. Daarom nodigt hij de drie managers van de business uit voor een workshop om tezamen een rangschikking aan te brengen. Ter voorbereiding heeft de CISO al een lijst van drie systemen opgesteld die door verschillende stakeholders als cruciaal omschreven worden. Ook heeft de CISO de tabellen voor de Weighted Ranking al gemaakt. De CISO plant twee uur in voor de workshop.
De eerste stap tijdens de workshop is om de doelstelling toe te lichten. De CISO licht toe dat alle systemen belangrijk zijn maar dat hij wil weten welke systemen het meest cruciaal zijn voor de bedrijfsvoering. Deze informatie heeft hij nodig om goed te adviseren over de digitale weerbaarheid van deze systemen.
Dit duurt ongeveer 20 minuten.
Daarna geeft de CISO een toelichting op de rol van elk systeem voor de organisatie. Deelnemers hebben de kans om vragen te stellen zodat ze een goed beeld hebben over het functioneren.
Ook licht de CISO de criteria toe. De CISO heeft samen met het bestuur de volgende criteria ontwikkeld:
Het systeem vormt zelf een kritiek proces voor de organisatie (50%)
Het systeem bevat intellectueel eigendom (30%)
Het systeem wordt door partners (bijvoorbeeld klanten) gebruikt (20%)
Dit duurt ongeveer 40 minuten.
De CISO deelt de tabellen uit en vraagt elke deelnemer om een individuele rangschikking op te stellen, in stilte.
Dit duurt 15 minuten.
Een voorbeeld van een door de deelnemers ingevulde tabel zie je hier:
Criterium
Gewicht
Systeem A
Systeem B
Systeem C
Vormt een kritiek proces
5
3
1
9
Intellectueel eigendom
3
3
2
4
Partnergebruik
2
4
6
9
Hierna verzamelt de CISO de ingevulde tabellen. De deelnemers gaan koffie halen terwijl de CISO de scores berekent.
Dit duurt 30 minuten.
Hij berekent ten eerste de eindscores per deelnemer. Dat ziet er als volgt uit:
Criterium
Gewicht
Systeem A
Systeem B
Systeem C
Vorm een kritiek proces
5
3*5=15
1*5=5
9*5=45
Intellectueel eigendom
3
3*3=9
2*3=6
4*3=12
Partnergebruik
2
4*2=8
6*2=12
9*2=18
Totaal
10
32
23
75
Eindscore
100%
32/130= 25%
23/130=18%
75/130=57%
Daarna maakt de CISO het totaaloverzicht. Daarom zet hij de scores per deelnemer op de rijen en houdt hij de systemen op de kolommen:
Deelnemer
Systeem A
Systeem B
Systeem C
Totaal
Manager X
32
23
75
Manager Y
40
58
38
Manager Z
24
41
51
Totaal
96
122
164
382
Eindscore
96/382=25%
122/382=32%
164/382=43%
De CISO presenteert de resultaten en licht toe wat hij met de opbrengst gaat doen.
Dit duurt 15 minuten.
Het laatste kwartier is gereserveerd voor vragen en onderlinge discussie door deelnemers.
Omdat de losse tabellen per deelnemer al opgesteld zijn, kan de discussie meer diepgang ontwikkelen. Waarom is systeem C zo belangrijk?
Pherson, R. H., & Heuer Jr, R. J. (2019). Structured analytic techniques for intelligence analysis. Cq Press.
Jahanshahloo, G., Lotfi, F. H., Khanmohammadi, M., & Kazemimanesh, M. (2012). A method for discriminating efficient candidates with ranked voting data by common weights. Mathematical and computational applications, 17(1), 1-8. Link: mca1701000120221217-1-yk4wz9-libre.pdf
Niessen, S. & Kiers, H. (2024) ‘Gewogen loting 2.0: expliciet, eenvoudig en inzichtelijk. Erasmus University Rotterdam. Link: https://www.eur.nl/erasmusmc/media/124014
