Analysis of Competing Hypotheses gebruik je om hypotheses te evalueren, bewijs tegen te zoeken en alle mogelijke verklaringen af te wegen. Dit ondersteunt je om tot een onderbouwde keuze te komen en voorkomen van groepsdruk en vooroordelen.
Tegen welk probleem loop je aan?
Informatie in het werkveld van digitale veiligheid is vaak onduidelijk, open voor interpretatie en soms regelrecht misleidend van aard. Daarom is het menseigen om op zoek te gaan naar bevestiging van een bekend beeld. Daardoor kun je de eerste verklaring voor een nieuw fenomeen voor waar aannemen, waardoor je op zoek gaat naar bewijs voor die verklaring. Dit leidt mogelijk tot verkeerde conclusies. Daardoor maken cyberexperts keuzes gebaseerd op onjuiste of onvolledige aannames.
Een voorbeeld hiervan is een situatie waarbij er een cyberaanval plaatsvindt op het netwerk van jouw organisatie. De eerste forensische sporen wijzen op een insider. Dit past bij het beeld van de SOC-manager, die in het verleden ook te maken heeft gehad met een insider. Daardoor richt de forensische analyse zich op deze actor en plaatsen experts bewijspunten in die context. Hierdoor maakt het management risicobeheersingskeuzes op basis van deze hypothese.
Hoe helpt deze analysetool jou?
Analysis of Competing Hypotheses (ACH) is een analysemethode die als doel heeft om (1) verschillende hypotheses te evalueren, (2) bewijs te zoeken die aangeeft dat een van de hypotheses niet klopt en (3) systematisch informatie te evalueren in het licht van alle mogelijke verklaringen. Daarom helpt deze methode je bij het tegengaan van vooroordelen en (groeps)druk, en zorgt het voor een onderbouwde keuze. Je kijkt naar meerdere mogelijke oorzaken en zoekt naar informatie die elk idee kan tegenspreken. Dit helpt jou om betere beslissingen te nemen, omdat het laat zien waarom sommige verklaringen minder sterk zijn.
Dit leidt tot een overzicht waarin je verschillende verklaringen/hypotheses met elkaar hebt vergeleken. Door de systematische evaluatie hou je uiteindelijk één of twee hypotheses over die het beste passen.
Wie moet deze analysetool gebruiken?
Dreigings- en risicoanalisten gebruiken deze methode omdat daar vrijwel continu sprake is van onduidelijke, onvolledige of potentieel misleidende informatie. In bredere context kan deze methode door elke cyberexpert gebruikt worden als er sprake is van een situatie waarbij je meerdere verklaringen kan opstellen voor één probleem of casus.
Stel je voor, je bent een analist in een incidentresponsteam. De SOC-manager vraagt je om te bepalen wie verantwoordelijk is voor een cyberaanval op het netwerk. Met ACH kom je op de drie best onderbouwde hypotheses: een statelijke actor, een criminele groep en een interne medewerker. Je past ACH toe omdat het een onzekere situatie is met hoge druk. Je vergelijk je samen met je team systematisch het beschikbare bewijs met elk van de drie mogelijke actoren. Doordat je informatie overweegt met het perspectief welke verklaring het zou ontkrachten, volg je wetenschappelijke best practices om tot de juiste conclusies te komen.
Wanneer gebruik je deze analysetool?
ACH biedt de meeste toegevoegde waarde in de beginfase van een cyberanalyse. Informatie is dan vaak schaars, onduidelijk vooroordelen liggen op de loer. ACH biedt nog meer toegevoegde waarde als je gevraagd wordt om een duidelijk besluit te nemen, of om besluitvorming te faciliteren. Doordat je systematisch bewijs overweegt, heb je een duidelijke logging van de uitgevoerde acties waardoor je in evaluaties of audits hierop terug kan vallen.
In het eerdere voorbeeld, ben je als analist bezig met de incidentresponscasus. Nadat je de eerste bewijspunten bekeken hebt, stel je mogelijke verklaringen op voor de actor. Door vanaf dat punt consistent volgens de ACH-methode te werken, bouw je zekerheid in dat je nieuwe informatie consistent en evenwichtig beoordeelt.
Met welke randvoorwaarden moet je rekening houden?
Meerdere duidelijke verklaringen (hypotheses). Voor ACH heb je minstens drie mogelijke verklaringen nodig. Deze verklaringen mogen niet tegelijk waar kunnen zijn.
Scheid feiten en aannames. Je moet in staat zijn om een waardeoordeel te geven over de betrouwbaarheid van informatie. Zodat je feiten en aannames van elkaar kunt scheiden.
Een veilige groep om vrij te denken. ACH draait om het zoeken naar tegenbewijs. De werksfeer moet daarom ook open genoeg zijn om afwijkende meningen, tegenargumenten en twijfel serieus te nemen – zonder sociale druk of angst.
Mensen met verschillende achtergronden in de groep. Om de eerder genoemde biases te beperken is het belangrijk dat je deelnemers hebt met verschillende perspectieven, achtergronden en expertises. Dat helpt om fouten of blinde vlekken te voorkomen.
[Optioneel] Een goede begeleider die het proces leidt. De begeleider zorgt ervoor dat het onderstaande ACH stappenplan goed wordt gevolgd. Diegene let erop dat niemand te veel invloed heeft en dat er eerlijk naar alle ideeën wordt gekeken.
Hoe gebruik je deze analysetool?
Je probeert rekening te houden met de bovenstaande randvoorwaardes. Je begint vervolgens met je team met het formuleren van meerdere hypotheses. Daarna bekijkt de groep bij elk stuk bewijs hoe consistent of inconsistent deze informatie is met elke hypothese. De verklaring die het beste past bij het bewijs, en die dus het minst wordt tegengesproken, is waarschijnlijk de juiste.
Operationeel stappenplan
Bedenk alle verklaringen voor het probleem wat je onderzoekt. Neem ook verklaringen op waarin sprake is van misleiding. Omschrijf per hypothese kort hoe die eruit ziet. Een korte scenario-omschrijving kan je hierbij helpen. Zorg ervoor dat de lijst zo volledig mogelijk is.
Zorg ervoor dat de verklaringen elkaar uitsluiten, dus als de één klopt dan zijn de anderen onjuist.
Schrijf bij elke verklaring kort hoe en waarom deze waar zou kunnen zijn.
Werk met een whiteboard of gedeelde digitale ruimte.
Schrijf de bevindingen en toelichtingen helder op.
Maak samen met je team een lijst met feiten, aannames en verwachte maar ontbrekende informatie, allen gerelateerd aan het probleem in kwestie. Neem ook aannames op: ze maken zichtbaar waarop de analyse rust, zodat latere conclusies herleidbaar zijn.
Maak drie kolommen:
Feiten,
Aannames,
Ontbrekende maar relevante informatie
Vraagt elke deelnemer individueel om input op deze kolommen inclusief bronvermelding voor deze inbreng.
Zet de verklaringen bovenaan en de informatie links. Laat iedere deelnemer de matrix afzonderlijk invullen. Beoordeel per item of het:
C (Consistent) is met de verklaring,
I (Inconsistent), of
NA (Niet van Toepassing).
Sterke informatie kun je aanduiden met “CC” of “II”. Noteer aannames die beoordelingen beïnvloeden (“Het hangt ervan af...”), zodat je later kunt controleren hoe stevig deze zijn.
Noteer je twijfel of aannames bij iedere beoordeling. Bijvoorbeeld “wisselende betrouwbaarheid van de bron van de informatie”.
Bespreek verschillen in beoordeling tussen analisten en de achterliggende aannames. Een begeleider kan je helpen om het gesprek over verschillen in de beoordeling te leiden. Heroverweeg of corrigeer eventueel de beoordelingen die te zwak blijken.
Het is belangrijk dat de begeleider ervoor zorgt dat alle stemmen gehoord worden.
Beoordeel of hypotheses samengevoegd, geschrapt of toegevoegd moeten worden. Neem mogelijk nieuwe verklaringen opnieuw mee in de matrix. De begeleider toetst nog of dat de hypotheses niet tegelijk mogen kloppen nog steeds geldt.
Bepaalt welke hypothese het minst inconsistent is met de informatie. Tel daarvoor per verklaring de “I” en “II” scores. De verklaring met de meeste inconsistenties is het minst waarschijnlijk.
Vraag teamleden actief om de meest waarschijnlijke verklaringen te ondermijnen met tegenargumenten. ACH geeft richtlijnen, geen absolute zekerheden.
In deze stap toets je hoe kwetsbaar de verklaringen zijn. Hiermee voorkom je dat jouw conclusies geijkt zijn op één of twee bewijspunten. Stel daarom de vraag ‘wat als dit stuk bewijs niet klopt?’ Analyseer daarna de matrix nogmaals zonder dat ene informatiepunt. Hierdoor check je of één stuk informatie de uitkomst te veel beïnvloedt.
Rapporteer de uitkomsten, inclusief minder waarschijnlijke verklaringen. Licht toe welke informatie doorslaggevend was en waarom. Voeg de matrix toe als bijlage en benoem los van de cruciale en doorslaggevende informatie ook alle onzekerheden en aannames. Laat een ander teamlid het verslag checken op bias of vergeten informatie.
Noteer signalen die je analyse in de toekomst kunnen bevestigen of juist ondermijnen. Maak twee lijsten: wat versterkt je conclusie, en wat zou twijfel kunnen zaaien? Monitor actief op nieuwe informatie.
Betrek hierbij de analisten en de betrokken beleidsmakers of opdrachtgevers. De facilitator kan het team helpen om de vervolgvragen scherp te stellen.
Voorbeeldcasus
Stel je voor, je bent een analist in een incidentresponsteam. De SOC-manager vraagt je om te bepalen wie verantwoordelijk is voor een cyberaanval op het netwerk. Doordat je ACH gebruikt, kom je uit op drie hypotheses: een statelijke actor, een criminele groep en een interne medewerker. Je past ACH toe omdat het een onzekere situatie is met hoge druk.
Hypothese A: De aanval werd uitgevoerd door een statelijke actor met geopolitieke motieven.
Hypothese B: De aanval kwam van een georganiseerde criminele groep uit op financieel gewin.
Hypothese C: Een medewerker binnen de organisatie saboteerde het netwerk uit onvrede.
Deze verklaringen sluiten elkaar uit. Het analyseteam omschrijft hoe elke hypothese er in de praktijk uit zou zien middels een kort scenario.
Daarna worden de betrokken experts gevraagd om informatiepunten te verzamelen in het licht van deze casus. De opbrengst is als volgt:
Geavanceerde malware met zero-day exploit.
Aanval kwam buiten kantoortijden binnen.
Exfiltratie van gegevens maar geen sporen van sabotage
Er zijn afwijkende logins gevonden die van een intern ip-adres komen.
Er zijn vooralsnog geen indicaties dat de gegevens ergens (bijvoorbeeld op het dark web) beschikbaar zijn.
Geen meldingen van ontevreden personeel.
Ook worden een aantal aannames opgenomen:
Aanname: een geavanceerde actor kan sporen wissen of manipuleren
Aanname: ontevreden personeel is meldingsbereid
Aanname: de darkwebmonitoring van de organisatie is goed
Aaname: de kroonjuwelen van de organisatie zijn niet geraakt.
Een voorbeeld van matrix-invulling:
Informatie
A (Statelijke actor)
B (Criminele actor)
C (Insider)
Geavanceerde malware met zero-day exploit.
CC
C
I
Aanval kwam buiten kantoortijden binnen.
C
C
I
Exfiltratie van gegevens maar geen sporen van sabotage
C
I
C
Er zijn afwijkende logins gevonden die van een intern ip-adres komen.
C
II
C
Er zijn vooralsnog geen indicaties dat de gegevens ergens (bijv. op het dark web) beschikbaar zijn.
C
C
C
Geen meldingen van ontevreden personeel.
C
C
I
De kritieke te beschermen belangen van de organisatie zijn niet geraakt
II
C
I
De primaire focus bij het invullen moet liggen op het vaststellen van de inconsistenties.
Analisten bespreken verschillen: sommigen vonden intern ip-adres zwaarwegend voor C, anderen wezen erop dat er sprake kan zijn van spoofing.
Ook worden de aannames uitgebreid besproken: hoe zeker zijn we als organisatie van de meldingsbereidheid van ontevreden personeel?
Ten slotte is er uitgebreid discussie: zijn de kroonjuwelen van de organisatie inderdaad niet geraakt? Is absentie van bewijs het zelfde van absentie van acties van de aanvaller?
De meldingsbereidheid van medewerkers blijkt na verder onderzoek laag. Ook laten enquêtes zien dat er ontevredenheid bestaat onder een deel van het personeel wegens aangekondigde bezuinigen. Daarom wordt deze informatie verwijderd: bij alle hypotheses is het namelijk consistent met de verklaring.
Er wordt meer tijd genomen voor de forensische analyse van de kroonjuwelen van de organisatie. Hoe zeker kunnen we stellen dat deze niet geraakt zijn?
In deze stap worden de inconsistenties opgeteld:
Hypothese A, de statelijke actor: 1x II
Hypothese B, de criminele actor: 2x I / II
Hypothese C, de insider: 4x I
Verklaring A, de statelijke actor, is het minst weerlegd. Het verschil met de criminele actor is echter klein.
De conclusie steunt sterk op het gewicht van zero-day malware (CC).
Als blijkt dat er geen sprake was van een zero-day, of dat deze in handen was van een criminele groep, dan heeft dat effecten op de conclusie.
Ook heeft het informatiepunt dat er geen kroonjuwelen geraakt zijn uitgebreide impact.
Daarom wordt dit meegenomen in het advies om hier verder onderzoek naar te doen.
Conclusie: een statelijke actor (A) is het meest waarschijnlijk.
De doorslaggevende bewijspunten zijn: het gebruik van een zero-day en de geavanceerde modus operandi.
Echter, adviseert het analyseteam om op een aantal datapunten aanvullend onderzoek te doen. Onder andere welke te beschermen belangen (kroonjuwelen) van de organisatie precies geraakt zijn en hoe de malware in detail werkte.
Signalen die de conclusie versterken:
Herkenbare TTP’s (tactics, techniques, procedures) van statelijke actoren bij eerdere aanvallen.
Als blijkt dat er sprake was van een situatie waarbij de kritieke te beschermen belangen van de organisatie toch geraakt zijn.
Signalen die twijfel zaaien:
Openbaarmaking dat malware al op dark web circuleerde.
Bewijs dat intern ip-adres geen spoofing was.
Een chantagepoging van een interne medewerker, of een andere uiting van actie van een insider.
Deze signalen worden actief gemonitord als onderdeel van de follow-up.
Pherson, R. H., & Heuer Jr, R. J. (2019). Structured analytic techniques for intelligence analysis. Cq Press.