Het bouwen en toetsen van indicatoren gebruik je om indicatoren te ontwikkelen om gebeurtenissen en veranderingen te volgen en duiden. Dit ondersteunt je om grip te krijgen op abstracte fenomenen.
Tegen welk probleem loop je aan?
De bevleugelde uitspraak “meten is weten” geldt ook in het cyberdomein, maar de wijze waarop je ontwikkelingen kan meten zorgt vaak voor beperkingen. Ontwikkelingen gaan namelijk vaak gradueel, waardoor je kleine signalen kan missen die indicatief zijn voor grotere trends. Ook zit het in de menselijke aard om nieuwe informatie te duiden op basis van het eigen referentiekader: eerdere ervaringen en expertise helpen je om betekenis te geven aan gebeurtenissen. Dat is een nuttige kwaliteit maar het is minstens zo belangrijk om zulke referentiekaders te sturen en bewust op objectieve wijze nieuwe informatie te interpreteren.
Als voorbeeld kun je je voorstellen dat geopolitieke ontwikkelingen, zoals de oorlog in Oekraïne, mogelijk effecten heeft op jouw organisatie. Het bestuur uit haar zorgen en ze vragen aan jou als analist om grip te houden op de situatie. Het bestuur vraagt je om een inschatting te maken of ze actie moeten ondernemen om de huidige digitale weerbaarheid van de organisatie inzichtelijk te maken, en een inschatting te maken of er aanvullende maatregelen genomen moeten worden om de weerbaarheid te waarborgen.
Hoe helpt deze analysetool jou?
Het bouwen en toetsen van indicatoren helpt je om een gestructureerde manier te ontwikkelen die je kan gebruiken/die je kan helpen om gebeurtenissen of veranderingen van situaties beter te monitoren en te begrijpen. Dat kan op meerdere manieren: retrospectief om een gebeurtenis te verklaren of begrijpen of vooruitkijkend door indicaties te ontwerpen die een aanwijzing vormen van een grotere ontwikkeling. Hierdoor kun je beter grip krijgen op abstracte fenomenen zoals de impact van toenemende geopolitieke spanning.
Wie moet deze analysetool gebruiken?
Deze techniek wordt door cyberexperts gebruikt, bijvoorbeeld door professionals die worden gevraagd advies te geven of een analyse te doen bijvoorbeeld mogelijke manifestaties van risico’s te herkennen.
De meerwaarde van werken met indicatoren is goed zichtbaar in relatie tot de oorlog in Oekraïne. Het NCSC ziet dat Nederlandse organisaties die publiekelijk uitspreken over de oorlog, vaker een aantrekkelijk doelwit vormen voor DDoS-aanvallen. Door indicatoren te ontwikkelen die helpen om te begrijpen welke risico’s zulke ontwikkelingen met zich meebrengen, houden organisaties/analisten/adviseurs/verantwoordelijke teams beter grip op de ontwikkeling van de dreiging voor hun organisatie.
Wanneer gebruik je deze analysetool?
Je maakt gebruik van indicatoren als je een praktische maatstaf zoekt die je helpt om grip te houden op toekomstige ontwikkelingen. Het gebruik van indicatoren helpt je om onderbouwde beslissingen te nemen en (nieuwe) risico’s in kaart te brengen. Hiermee zijn indicatoren voornamelijk nuttig in de volgende situaties:
Je hebt een aantal hypotheses ontwikkeld en je wil weten welke aan het uitkomen is.
Je hebt een aantal mogelijke toekomstscenario’s ontwikkeld en je wil weten welk scenario zich aan het manifesteren is en om de toekomstige risico’s beter te begrijpen.
Je hebt een probleem en je wilt een objectieve root cause analyse uitvoeren. Door voorafgaande aan de analyse indicatoren te ontwikkelen, kun je gericht en effectief onderzoek doen.
Voortbordurend op het eerdere voorbeeld, stellen de analisten in het begin van de oorlog in Oekraïne scenario’s op. Deze scenario’s brengen mogelijke ontwikkelingen in kaart en duiden de potentiële impact voor hun organisatie. Nadat de scenario’s opgesteld zijn, gaan de analisten per scenario aan de slag om indicatoren te ontwikkelen. De kernvraag is daarbij: wat zijn signalen die we als indicatief beschouwen dat de werkelijkheid zich naar dit scenario aan het bewegen is?
Met welke randvoorwaarden moet je rekening houden?
Meetbare en realistische indicatoren. Let op dat indicatoren niet te vaag of te specifiek zijn. Ze moeten meetbaar en realistisch zijn, maar ook gevoelig genoeg om veranderingen tijdig te signaleren.
Indicatoren zijn context-afhankelijk:
Indicatoren maken ingewikkelde zaken soms te simpel. Daardoor gaat belangrijke informatie soms verloren.
Een indicator die in de ene context bruikbaar is, kan in een andere context minder betekenisvol zijn.
Indicatoren kunnen na een tijdje verouderd raken en niet meer passen bij de huidige situatie.
Relevantie van indicatoren. Vermijd indicatoren die alleen achteraf zichtbaar zijn. Het is ook belangrijk om regelmatig te herzien of de gekozen indicatoren nog relevant zijn.
Meest relevante bias. Wees alert op informatiebias. Soms is de afwezigheid van een verwachte indicator ook een belangrijk signaal.
Hoe gebruik je deze analysetool?
Je begint met het formuleren van een centrale vraag of scenario. Hierin stel je vast welk verschijnsel je wilt begrijpen en grip op wilt houden. Daar bouw je indicatoren voor. Deze indicatoren evalueer je en hierin stel je vast of je meet wat je wil meten. Ten slotte beoordeel je via externe validatie hoe goed een indicator functioneert in de praktijk.
Operationeel stappenplan
Er zijn veel manieren om indicatoren te ontwikkelen: van een hele snelle individuele braindump toteen uitgebreid analytisch proces.
In alle gevallen is het startpunt om vast te stellen wat het doel is. Wil je vooruitblikken of terugkijken? Zodra dat helder dan kun je het onderwerp vaststellen. Voor de rest van dit stuk houden we vooruitkijken aan als het doel.
Ga vervolgens aan de slag:
Formuleer duidelijk wat het onderwerp is waarop je indicatoren gaat bouwen. Dat kan een specifieke hypothese zijn, een scenario of een andere potentiële ontwikkeling waar je grip op wil houden.
Stel daarna een lijst op van indicatoren op. De kernvraag daarbij is: welke informatie of ontwikkelingen zien we als het onderwerp aan het plaatsvinden is?
Hoe deze indicatoren er voor jou in de praktijk uit zien is afhankelijk van de context en het vastgestelde doel.
Hou daarbij rekening met het volgende:
Beschouw het geheel aan indicatoren als jouw totaalplaatje: tezamen schetsen de indicatoren of een ontwikkeling aan het plaatsvinden is.
Zorg dat elke indicator een baseline heeft. Op die manier herken je wanneer nieuwe informatie afwijkt van de vooraf vastgestelde norm.
Overweeg om ook een set aan tegenindicatoren te bouwen: indicatoren die er juist op wijzen dat de hypothese of het scenario niet aan het uitkomen is.
Er zijn veel methodes om de indicatoren te verzamelen. Denk hierbij aan een hypothesevormingssessie of een clustered brainstorm.
Er zijn handvatten om ervoor te zorgen dat je een breed palet aan opties in ogenschouw neemt:
Het PESTLE-model helpt hierbij : zorg dat je kijkt naar politieke, economische, sociale, technologische, juridische en milieu- of klimaatfactoren.
Historisch onderzoek kan je helpen om indicatoren uit vergelijkbare historische situaties te destilleren.
Als je meerdere scenario’s hebt, probeer de indicatoren van hetzelfde onderwerp op verschillende scenario’s te plotten. Zou de indicator zich anders manifesteren in een ander scenario?
De interne validatie van indicatoren betekent dat je per set aan indicatoren voor één scenario of hypothese gaat controleren of ze meten wat ze moeten meten. Indicatoren moeten objectief en concreet zijn, om eenduidige beantwoording over langere tijd mogelijk te maken. Besteed hier dus veel aandacht aan om te voorkomen dat je op onjuiste informatie actie gaat ondernemen.
Goede indicatoren voldoen aan de onderstaande aantal eisen, traditioneel afgekort als SMART: specifiek, meetbaar, acceptabel, realistisch en tijdgebonden. Zodra je jouw set aan indicatoren afgerond hebt, moet je ze daarbij toetsen. Indicatoren die hier niet (voldoende) aan voldoen, kun je beter weglaten.
Specifiek en meetbaar. De informatie van de indicator moet duidelijk gekaderd en meetbaar zijn. Idealiter op gestandaardiseerde basis zodat je op langere termijn trends of veranderingen kan waarnemen.
Acceptabel en realistisch. De indicator moet aanwijzend zijn over het onderwerp dat je wilt begrijpen/voorspellen. Dat moet je op realistische wijze kunnen doen, dus het moet bijvoorbeeld financieel haalbaar zijn.
Tijdsgebonden. De indicator moet bruikbaar zijn voor de termijn die je verwacht dat het nodig is.
Dan zijn er nog een aantal aanvullende richtlijnen om te overwegen:
Betrouwbaar. Bij dezelfde omstandigheden moet de indicator consistente resultaten opleveren, onafhankelijk van wie meet. Daarom is een precieze omschrijving belangrijk.
Uniek. De indicator moet één aspect meten en samen met andere indicatoren wijzen op het onderzochte scenario.
In deze stap, ga je elke set aan indicatoren per scenario vergelijken met een andere set aan indicatoren. Op die manier zorg je ervoor dat de indicatoren die logisch zijn binnen één scenario of hypothese voldoende afwijkt van indicatoren die bij andere scenario’s of hypotheses horen. Een ondermaatse (set aan) indicator(en) is in alle scenario’s zichtbaar. Zo’n indicator is niet erg nuttig om te bepalen of een scenario valide is.
Ook hier zijn er verschillende methodes om deze vergelijking uit te voeren, van een snelle vergelijking tot een diepgaande analyse. Een toegankelijke variant is de Analysis of competing hypotheses, waarbij je elke indicator als een hypothese behandelt. Zie <URL> hier de methode. Hierdoor kun je beoordelen welke indicatoren als set het beste en meest uniek zijn.
Je moet terughoudendheid bewaren voordat je een indicator schrapt omdat die te generiek van aard is. Zelfs al zegt een indicator iets over meerdere verschillende scenario’s, of hypotheses, kan het alsnog nuttig zijn hem te bewaren. Signalen dat zo’n indicator werkelijkheid aan het worden is kan namelijk het grotere plaatje van duiding voorzien.
Een goede set indicatoren moet regelmatig worden gemonitord en geëvalueerd, bijvoorbeeld wekelijks of maandelijks, met vaste beoordelingscriteria. Als meerdere indicatoren tegelijk ‘oplichten’, is dat een alarmsignaal voor analisten om actie te ondernemen. Zo’n set moet vroegtijdige waarschuwingen geven en helpen bij snelle respons op ontwikkelingen.
Indicatoren kun je ook verbeteren en des te volwassener de analyse die je uitvoert, des te meer aandacht deze onderdelen vragen. Voor deze publicatie zijn die methodes te gedetailleerd, maar we willen ze graag benoemen.
Het vaststellen van een objectief kader voor de beoordeling van elke indicator.
Bijvoorbeeld, een schaalmodel. Welke indicator is “erger” dan andere?
Dit kun je uitbreiden door een korte beschrijving toe te voegen van de verwachtingen bij elk niveau of onderdeel van het kader.
Elke indicator expliciet van een definitie voorzien.
Hierdoor voorkom je interpretatieverschillen.
Het toevoegen van een vertrouwensbeoordeling en waarschijnlijkheidsbeoordeling.
Dit is een standaard best practice in het inlichtingendomein, waarbij elk type informatie voorzien wordt van een mate van vertrouwen in de informatie.
Indien mogelijk hoort hier ook bij dat je aan expliciete bronvermelding doet aangezien dat de vertrouwensbeoordeling beïnvloedt.
Voorbeeldcasus
Je kan je voorstellen dat geopolitieke ontwikkelingen, zoals de oorlog in Oekraïne, mogelijk effecten hebben op jouw organisatie. Het bestuur uit haar zorgen en ze vragen aan jou als analist om grip te houden op de situatie. Het bestuur vraagt je inzichtelijk te maken of ze actie moeten ondernemen om de digitale weerbaarheid en om passend te reageren als dat nodig is.
Door indicatoren te ontwikkelen die helpen om te begrijpen welke risico’s een dergelijke conflictsituatie met zich meebrengt, kan het analistenteam grip houden op de ontwikkeling van de dreiging voor hun organisatie. Daarom stellen de analisten in het begin van de oorlog in Oekraïne scenario’s op. Deze scenario’s brengen mogelijke ontwikkelingen in de oorlog in kaart en duiden de potentiële impact voor hun organisatie. Nadat de scenario’s opgesteld zijn, gaan de analisten per scenario aan de slag om indicatoren te ontwikkelen. De kernvraag is daarbij: wat zijn signalen die we als indicatief beschouwen dat de werkelijkheid zich naar dit scenario aan het bewegen is?
Het team neemt drie scenario’s als uitgangspunt:
De oorlog escaleert, Nederland raakt actief betrokken en de organisatie wordt een actief doelwit.
De oorlog komt in een patstelling, Nederland blijft zijdelings betrokken via de NAVO- en de EU. Op ad hoc basis kan de organisatie doelwit worden van hacktivistische actoren.
De oorlog eindigt. Nederland is hier niet direct bij betrokken en de organisatie is geen doelwit.
De CISO organiseert een workshop om indicatoren op te stellen. De hoofdvraag voor deze sessie is: wat zijn signalen die we als indicatief beschouwen dat de werkelijkheid zich naar dit scenario aan het bewegen is? De workshop duurt drie uur.
De CISO nodigt een diverse groep experts uit voor de workshop: een bestuurder voor het strategisch perspectief, een jurist en een adviseur uit de praktijk voor het perspectief van een outsider en ten slotte een aantal analisten uit zijn SOC- en CTI-team.
Per scenario stellen ze een aantal scenario’s op. Dat doen ze door middel van een clustered brainstorm.
Scenario #1: oorlog
Nederland raakt militair betrokken bij het conflict.
Overheidsorganisaties en grote organisaties worden actief digitaal aangevallen met verstorend impact.
Medewerkers van je organisatie melden dat ze worden benaderd via een toename in phishing-emails, zowel op privé- als op bedrijfsmailadressen.
Scenario #2: patstelling
Nederland levert wapens aan Oekraïne.
Overheids organisaties en grote organisaties worden af en toe digitaal aangevallen met defacement- en DDos.
Er zijn geen meldingen van medewerkers zoals een toename van phishing-emails wat kan duiden op een toenemende dreiging.
Scenario #3: vrede
De Oekraïne-oorlog eindigt.
Het normbeeld van de branche blijft hetzelfde of wordt zelfs qua dreiging afgeschaald.
Om zeker te zijn dat ze alle relevante indicatoren in beeld hebben, gebruiken ze na de eerste brainstorm het PESTLE-model. Hierdoor zien ze een nieuwe indicator:
Economische indicator:
Scenario #1: de overheid wordt betrokken bij een economische boycot.
Scenario #2: de organisatie wordt zijdelinks betrokken bij de sancties en vormen een mogelijk doelwit voor actoren.
Scenario #3: alle sancties worden beëindigt.
Technologische indicator:
Scenario #1: de detectiemiddelen van de organisatie ziet een grote toename in pogingen tot digitale aanvallen. Dit over het gehele pallet van ‘initial access-methodes’.
Scenario #2: er is een toename van scanverkeer op de internet-facing poorten van de organisatie.
Scenario #3: geen aanvullende effecten.
Nadat de indicatoren opgesteld zijn, eindigt de workshop. Er is een overzichtelijke eerste inventarisatie gemaakt waar de CISO mee verder kan.
De CISO organiseert een tweede workshop met dezelfde experts om de indicatoren aan te scherpen. Ook dit duurt drie uur.
Per indicator maakt de CISO groepjes van experts die de indicatoren zo SMART mogelijk gaan maken. Het is teveel om elke indicator hier te behandelen, dus zullen we er één toelichten, de technologische indicator.
Scenario #1: de detectiemiddelen van de organisatie ziet een grote toename in pogingen tot digitale aanvallen. Dit over het gehele pallet van ‘initial access-methodes’.
Specifiek en meetbaar:
Deze indicator is meetbaar tot bepaalde hoogte. De organisatie is afhankelijk van meldingen van medewerkers. Daarom nemen ze dat op in de indicator.
Acceptabel en realistisch:
Het is financieel haalbaar voor de organisatie om hierop te monitoren. Er moet een digitale oplossing komen om hier een duidelijke logging van op te stellen en daar gaat de CISO mee aan de slag.
Tijdsgebonden:
De medewerkers spreken af dat ze elke 48 uur een update doen op deze matrix. Ook is de indicator voor langere termijn bruikbaar.
Betrouwbaar:
De CISO vraagt het team van analisten om hier nog een slag op te doen: er moet een precieze omschrijving komen wát gezien wordt als een “poging tot digitale aanval”. Welke technische details vinden de analisten relevant om te monitoren?
Uniek:
Deze indicator is beperkt uniek voor dit scenario. Een toename in digitale aanvallen hoeft niet per se te betekenen dat er sprake is van een escalatie van de oorlog. In het pallet van alle indicatoren voor scenario #1 past deze indicator wel.
Scenario #2: er is een toename van scanverkeer op de internet-facing poorten van de organisatie.
Specifiek en meetbaar:
Dit is specifiek en meetbaar voor de organisatie.
Acceptabel en realistisch:
Het is financieel een uitdaging om deze indicator uit te voeren. Het is duur om alle mogelijke scans goed en overzichtelijk te loggen. De CISO gaat dat daarom met zijn CFO bespreken.
Tijdsgebonden:
Dit kan geautomatiseerd uitgevoerd worden. Daarmee is het nuttig over langere termijn.
Betrouwbaar:
Ook hierbij moeten de SOC- en CTI-analisten nog aanvullend werk uitvoeren concludeert de groep. Hebben we zicht op alle internet-facing poorten van de organisatie en wat valt wel of niet binnen scope?
Uniek:
Deze indicator is beperkt uniek voor dit scenario. Een toename in digitale aanvallen hoeft niet per se te betekenen dat er sprake is van een escalatie van de oorlog.
Scenario #3: geen aanvullende effecten.
De groep concludeert dat dit vooral een absentie is van de andere twee indicatoren. Daarom moeten ze een normbeeld ontwikkelen. Daarin staat de volgende vraag centraal:
Wat zien we al ‘normaal’ of als ‘baseline’ voor de andere technologische indicatoren? Als we die baseline kunnen opzetten, bijvoorbeeld dat het historisch gezien standaard is dat bepaalde poorten voor x keer per dag gescand worden,
Dit doet de groep voor elke set aan indicatoren. Daar komen een aantal actiepunten uit die bij de specifieke experts worden weggezet. Ze spreken af om na drie weken bij elkaar te komen, zodra alle indicatoren verder aangescherpt zijn.
Ook hier organiseert de CISO weer een workshop voor. Deze duurt wat langer, namelijk vier tot vijf uur. De CISO besluit om een analysis van competing hypotheses uit te voeren op de indicatoren. Het is te gedetailleerd om die gehele methode hier toe te passen. Daarom verwijzen we naar de toelichting op deze methode. Belangrijk is om te vermelden dat je elke indicator moet zien als een hypothese, net als de set van alle indicatoren per scenario.
Een tweetal indicatoren worden beoordeeld als generiek, of als toepasbaar op elk scenario. Namelijk:
De technologische indicator voor scenario #2: er is een toename van scanverkeer op de internet-facing poorten van de organisatie.
Dit hoeft niet per se een indicatie te zijn voor een van de scenario’s en kan generiek van aard zijn bij elk scenario.
De politieke indicator voor scenario #1: Overheidsorganisaties en grote organisaties worden actief digitaal aangevallen met verstorend impact.
Dit hoeft niet per se een indicatie te zijn voor een van de scenario’s en kan generiek van aard zijn bij elk scenario.
Daarna voert de groep het gesprek: willen we deze indicatoren alsnog behouden? Ze concluderen dat de informatie alsnog relevant is voor de digitale weerbaarheid van de organisatie. Daarom behouden ze de indicatoren omdat ze in het grotere plaatje van de set aan indicatoren per scenario alsnog toegevoegde waarde bieden.
De indicatoren worden daarentegen voorzien van een extra toelichting, waarbij de generieke aard van de indicator toegelicht wordt door de analisten.
Voor elke indicator stelt de CISO een periodiek meetmoment vast. Dat belegt hij bij de specifieke experts. De CISO maakt een team verantwoordelijk om het totaalplaatje te monitoren. Daarom maakt de CISO de volgende afspraken:
Elke week op een vast moment moet er aan het team gerapporteerd worden over de indicatoren.
Het team stelt wekelijks een gestandaardiseerd rapport op. Dat deelt het team met de CISO.
Als er signalen zijn dat indicatoren opeens tegelijk af gaan, dan is er een escalatiepad waarbij het team een urgente vergadering met de CISO kan organiseren. Op die manier kan de CISO snel reageren als zo’n gebeurtenis plaatsvindt.
Daarnaast spreken ze af dat de eerste maand gebruikt wordt om te toetsen hoe de indicatoren in de praktijk werken. Daarna organiseert de CISO een volgende sessie met specifiek betrokken experts, zoals het SOC-team. Daarbij gaan ze de indicatoren aanscherpen en focussen ze op:
Het vaststellen van een objectief kader voor de beoordeling van elke indicator.
Bijvoorbeeld, een schaalmodel. Welke indicator is “erger” dan andere?
Het toevoegen van een vertrouwensbeoordeling en waarschijnlijkheidsbeoordeling.
Dit is een standaard best practice in het inlichtingendomein, waarbij elk type informatie voorzien wordt van een mate van vertrouwen in de informatie.
Indien mogelijk hoort hier ook bij dat je aan expliciete bronvermelding doet aangezien dat de vertrouwensbeoordeling beïnvloedt.
Pherson, R. H., & Heuer Jr, R. J. (2019). Structured analytic techniques for intelligence analysis. Cq Press.
Grabo, C. M. (2012). Anticipating surprise: Analysis for strategic warning. Link: ADA476752.pdf
Luesink, M., Wolbers, J., van Duin, M., & Kuipers, S. (2024, May). Scenario planning to enable foresight in crisis management. In Proceedings of the 21st ISCRAM Conference.
Luesink, M., & Boin, C. (2023). Trainen in scenariodenken binnen veiligheidsregio’s: Een eerste inventarisatie.
