Devil's Advocacy gebruik je om zwakke plekken in een idee te identificeren en uit te dagen. Dit leidt tot betere beslissingen op doordat je het idee op verschillende manieren op de proef heb gesteld.
Tegen welk probleem loop je aan?
Als je lang bezig bent met een onderwerp, individueel of in groepsverband, dan ligt het in de menselijke aard om minder kritisch te worden op jouw eigen bijdrage. Daardoor loop je het risico dat aannames die je impliciet gedaan hebt of verbanden die je op basis van je eigen expertise gelegd hebt onvoldoende onderbouwd zijn. Dit heet de alpha-beta chance. De alpha chance houdt in dat je op incorrecte wijze concludeert dat er een sterke relatie is tussen bepaalde variabelen. Naast deze vorm van tunnelvisie, waarbij je in een bepaald denkpatroon komt, is er ook de kans dat je externe variabelen of verbanden gemist hebt. Dat heet de beta chance: dat er vergelijkbare verklaringen of correlaties te leggen zijn die je niet overwogen hebt.
Een voorbeeld hiervan is het projecteren van de gedachte van een cyberanalist op een aanvaller op basis van bijvoorbeeld zijn of haar kennis over een kwetsbaarheid. In ons werkveld van digitale veiligheid, kan het verleidelijk zijn om jouw eigen kennis over digitale infrastructuur te projecteren op hetgeen wat een (mogelijke) aanvaller zou uitvoeren. Daarmee kun je nieuwe ontwikkelingen in aanvalstechnieken over het hoofd zien. Een aanvaller mist jouw kennis over de netwerkarchitectuur en kan dus in potentie verbanden zien die je zelf niet eens had overwogen.
Hoe helpt deze analysetool jou?
De analysetechniek ‘Devil’s Advocacy’ is een methode om kritisch te denken waarbij je doelbewust ruimte inbouwt om een expert strikt te laten kijken naar de fundamentele argumentatie van een analyse. Iemand in de groep neemt bewust een gespiegelde rol aan; de Devil’s advocate (bijvoorbeeld de rol van de aanvaller, of de expert met een andere opvatting). Het doel is om fouten of zwakke plekken in de analyse op te sporen. Je daagt de analyse als het ware uit, zodat je zeker weet dat de onderliggende argumenten stevig genoeg zijn. Indien er zwaktes of onzekerheden worden ontdekt, dan kan dat leiden tot een andere uitkomst of tot het aanpassen van de analyse. Door Devil’s Advocacy bewust toe te passen kun je betere beslissingen nemen omdat je een hogere mate van zekerheid dat je analyse (en de onderliggende argumentatie) klop, of juist erachter komt dat er hiaten in zitten.
Wie moet deze analysetool gebruiken?
Deze analysetechniek is in het bijzonder interessant voor analisten die te maken hebben met een situatie van onvolledige informatie, maar informatie die wel richtinggevend is voor besluitvorming. Deze analysetechniek is zeer geschikt om te controleren of een idee of advies goed onderbouwd is en om onzekerheden expliciet te maken.
In het eerder genoemde voorbeeld waarin een analist de eigen gedachten projecteert op een aanvaller, zou het geholpen hebben als een andere expert specifiek als taak had gekregen om een tegengestelde positie in te nemen. Daardoor was deze Devil’s advocate wellicht ook op andere aanvalspaden gekomen of had deze een nieuwe aanvalstechniek ontdekt. Dat zou de kwaliteit van de analyse verbeterd hebben.
Wanneer gebruik je deze analysetool?
Devil’s Advocacy komt het best tot haar recht zodra een analyse richting afronding gaat. De aannames en de onderbouwing staan en deze kunnen dan met behulp van een Devil’s advocate worden getoetst. Het is belangrijk om te focussen op consistentie van de analyse: doet het wat het belooft te doen? Zijn de argumenten logisch en consistent? Zouden er ook andere aannames mogelijk zijn die de analyse kunnen ondersteunen? Des te belangrijker de gevolgen van een analyse, bijvoorbeeld voor kritieke besluitvorming, des te hoger de noodzaak om deze techniek toe te passen.
Met welke randvoorwaarden moet je rekening houden?
Het is belangrijk dat degene die de Devil’s advocate speelt, goed weet waar het over gaat maar afstand kan nemen zodat degene niet in een al bestaande tunnelvisie wordt gezogen. Dit geldt ook voor de ‘verdedigende’ partij. Ook moet er een veilige sfeer zijn waarin mensen open durven denken, spreken en kritiek durven geven.
Hoe gebruik je deze analysetool?
Operationeel stappenplan:
a. Wat is de analyse, het oordeel of het scenario waar je kritisch naar wilt kijken?
b. Welke aannames, argumenten of beweegredenen zijn te identificeren die de analyse onderbouwen?
a. Deze persoon of groep krijgt de taak om actief kritisch naar de analyse te kijken.
b. Ze nemen de rol aan van iemand die bestaande argumenten heroverweegt en alternatieve verklaringen zoekt.
a. Zoek feiten, data, trends of voorbeelden die alternatieve argumenten ondersteunen.
b. Denk ook aan zwakke plekken in het bewijs of alternatieve verklaringen en scenario’s
a. Laat de Devil’s advocate de kritische punten helder uitleggen.
b. Dit moet overtuigend en serieus zijn – geen karikatuur of overdreven tegenspraak.
a. Heeft de Devil’s advocate onderdelen gemist?
b. Is er aanvullende onderbouwing nodig voor hun analyse?
c. Moeten ze hun conclusie aanpassen?
d. Kunnen ze de tegenargumenten weerleggen met nieuw bewijs?
Is het standpunt nog steeds houdbaar?
... Ja? Dan is het nu beter onderbouwd.
... Nee? Pas de analyse of scenario aan.
In de praktijk zal het vaak om een middenweg gaan. Het is dan cruciaal om expliciet te zijn over de onzekerheden die in de analyse verwerkt zijn.
a. Leg vast wat het oorspronkelijke standpunt was, wat de tegenargumenten waren, en hoe het oordeel is veranderd of verstevigd.
b. Zo kun je het later herzien en leren van het denkproces.
Voorbeeldcasus
Een CISO wil een plan van aanpak opstellen om effectief de cyberweerbaarheid van de organisatie te verbeteren. Hij vraagt het CTI-team van de organisatie om een analyse uit te voeren waarbij ze onderzoeken waar er aanvullende technische detectiemaatregelen toegepast kunnen worden. Op basis van deze analyse vraagt de CISO om specifieke suggesties om het zicht op het aanvalsoppervlakte van de organisatie te verbeteren middels detectie use cases.
Toepassing van de methodiek
Hoofdconclusie: Door aanvullende netwerkdetectie toe te passen op een tweetal segmenten, is de weerbaarheid van de organisatie voldoende op orde.
Een ervaren IT-auditor binnen de organisatie wordt aangewezen als Devil’s advocate. Deze heeft mogelijk belangen binnen de organisatie. Maak deze expliciet in de analyse.
Deze persoon krijgt expliciet de taak om het plan kritisch te bekijken en mogelijke zwakke punten bloot te leggen.
De Devil’s advocate identificeert onder andere de volgende punten:
Het plan gaat uit van bekende aanvalsmethoden, maar houdt onvoldoende rekening met nieuwe, geavanceerde bedreigingen die passen bij het verhoogde dreigingsprofiel van de organisatie.
De analyse richt zich primair op netwerkdetectielogica. Dat past bij de expertise van de CTI-analisten, maar houdt geen rekening met endpoint-detectiemogelijkheden.
De geplande investering in monitoringsoftware is relatief laag vergeleken met benchmarks uit de sector.
Er zijn geen tests of simulaties gepland om de effectiviteit van de maatregelen vooraf te toetsen
De Devil’s advocate presenteert deze kritiekpunten in een aparte sessie:
De argumenten worden onderbouwd met rapporten van vergelijkbare organisaties die ondanks vergelijkbare plannen toch getroffen werden.
De presentatie is feitelijk en zakelijk, zonder de waarde van het oorspronkelijke plan te bagatelliseren.
Het team dat het plan opstelde reageert:
De analisten onderkennen de noodzaak tot andere detectiemogelijkheden.
Ze verdedigen het budget op basis van de beschikbare middelen, maar erkennen dat risicoprioritering mogelijk scherper kan.
Het testen van de effectiviteit van de maatregelen bleek bewust uit de analyse gehouden.
De analyse wordt deels herzien:
Het analistenteam besteed aanvullend aandacht aan endpoint-detectie en doet suggesties om hier use cases voor te ontwikkelen.
De risicoprioritering wordt uitgebreid en aanvullend onderbouwd.
Daarnaast wordt er een aanvullend hoofdstuk toegevoegd aan de analyse. In dit hoofdstuk licht het team toe dat het testen van de voorgestelde maatregelen nog uitgevoerd moet worden in een later stadium.
Het analyseteam breidt het eindrapport uit met de aanbevelingen vanuit het Devil’s advocate team. Daardoor worden onzekerheden beter gedocumenteerd. Ook worden vervolgstappen en vragen rondom scoping uitgebreider toegelicht.
De CISO kan nu in samenwerking met het bestuur beter onderbouwde investeringskeuzes maken. Het is duidelijk op welke zwakke punten actie ondernomen wordt.
Door het toepassen van de Devil’s Advocacy-techniek heeft de organisatie niet alleen potentiële zwaktes in het beveiligingsplan blootgelegd, maar het plan ook aantoonbaar versterkt. Dit proces zorgt voor meer draagvlak én een hogere mate van zekerheid dat de genomen maatregelen effectief zijn.
Shewring, E. (2024). The Application of the Devil’s Advocacy Technique to Intelligence Analysis. National Security Journal. 6. 10.36878/nsj20240925.03. Link: https://nationalsecurityjournal.nz/wp-content/uploads/sites/13/2024/10/NSJ-2024-October-Shewring.pdf
