Effectiviteit van Capture the Flag (CTF) Educatie
Adversarial thinking is essentieel bij het omgaan met cyberincidenten en het vinden van beveiligingsproblemen. Capture the Flag (CTF)-wedstrijden worden over de hele wereld gebruikt om deelnemers te leren denken als aanvallers en cybersecurityonderwijs te stimuleren.
Jeopardy-stijl CTF's, gezien hun op praktische uitdagingen gebaseerde aard, worden steeds meer gebruikt in cybersecurityonderwijs als een leuke en boeiende manier om studenten te inspireren. Net als traditionele schriftelijke examens, kunnen CTF's in Jeopardy-stijl worden gebruikt als summatieve beoordeling.
Dit onderzoeksproject biedt een raamwerk voor het meten van de leerresultaten van een Jeopardy-stijl CTF en past dit raamwerk toe op twee CTF-evenementen als casestudies.
Tijdens deze casestudies werden de deelnemers getest op hun kennis en vaardigheden op het gebied van cybersecurity en bevraagd op hun houding richting CTF-onderwijs.
De resultaten laten zien dat deelnemers aangeven dat sommige uitdagingen moeilijk en leuk waren, terwijl andere uitdagingen werden ervaren als gemakkelijk en saai. Hieruit blijkt een relatie met de Flow theorie van Csíkszentmihályi. Volgens deze theorie kan een persoon volledig worden ondergedompeld in het uitvoeren van een taak. Hoe beter de taak aansluit op niveau van de student, hoe beter de uitdaging werd gewaardeerd.
Het bleek in het onderzoek echter problematisch om inschattingen te maken over het niveau van de deelnemers. Beginnende studenten wisten in veel gevallen net zo veel uitdagingen op te lossen als studenten die zichzelf als meer ervaren inschatten.
Afsluitend bleek het complex om de uitdagingen van de CTF’s te koppelen aan competenties en vaardigheden uit het NIST Education Workforce Framework (NICE) aangezien de beschrijvingen in het framework erg algemeen zijn.
Als resultaat van dit project is er een handleiding/checklist voorzien voor diegenen die CTF in het onderwijs willen gebruiken.