Weblogbericht | 18-05-2021 | NCSC

De VNOG heeft het Instituut Fysieke Veiligheid (IFV) gevraagd onderzoek te doen naar de crisisaanpak van het incident. Dit onderzoek en daarbij behorende rapportage, en deze blog, geven geen inzicht in forensische informatie, mogelijke kwetsbaarheden of attributie. Het is bedoeld om van het incident te leren en andere organisaties te informeren over wat er destijds gebeurde en mogelijk in de toekomst kan gebeuren.

De Waakdienst

In de nacht van zaterdag 12 september 2020 wordt de waakdienst van het NCSC gebeld door de veiligheidsregio Noord- en Oost Gelderland (VNOG). Zij melden een incident en vragen om hulp. De waakdienstmedewerker beoordeelt de situatie en schakelt direct met de coördinator en technisch specialist van dienst. In gezamenlijk overleg wordt de strategie bepaald.

Op basis van de impact van het incident en taken van deze organisatie wordt al snel besloten om in te gaan op het hulpverzoek. De VNOG stuurt de brandweer aan. De veiligheidsregio coördineert bij grote incidenten, zo hebben ze een grote rol bij de aanpak van COVID-19 in de regio. Daarom is op dat moment het crisisteam van corona opgeschaald (GRIP 4), waarin meerdere ketenpartners verenigend zijn, zoals GGD GHOR en politie. Hoewel de primaire taak van het NCSC is om de Rijksoverheid en vitale aanbieders te adviseren en ondersteunen bij digitale dreigingen en incidenten m.b.t. hun netwerk- en informatiesystemen (Wbni, art. 3), kan het NCSC op grond van een vrijwillige melding ook andere organisaties, zoals de VNOG, ondersteunen (Wbni, art. 16). Vanwege de mogelijke ernst van de situatie heeft het NCSC besloten een aantal incident respons experts naar VNOG te sturen. Deze medewerkers worden zaterdagnacht nog geïnformeerd over de situatie en verzocht om de volgende ochtend op locatie te zijn.

Op locatie

Bij aankomst op locatie kregen de NCSC-ers een goed beeld van de situatie. Het NCSC adviseert om extra incident response capaciteit aan te trekken, waarna de VNOG besluit om Fox-IT in te schakelen. Er is onderling een taakverdeling gemaakt, waarbij het NCSC zich vooral richt op het assisteren bij de coördinatie en herstel en Fox-IT op het forensische deel.

Vervolgens kregen de technische experts een eigen ruimte waar een schone omgeving, die afgesloten was van het kantoornetwerk, opgezet kon worden voor de laptops en werkstations. Om deze omgeving ook echt geïsoleerd te houden waren soms wat creatieve oplossingen nodig, zoals het leggen van lange kabels naar een ander deel van het pand waar zich de serverruimte bevond.

Inperking verdere schade

Om te beginnen was het belangrijk om verdere schade te beperken en de mogelijke toegang van de aanvallers af te snijden, zoals verbindingen naar het internet, andere vestigingen en interne verbindingen. Daarbij werden ook systemen geïsoleerd die nog niet geraakt waren door de gijzelsoftware en voorkomen dat schone systemen verbinding konden maken met het geïnfecteerde netwerk. Voor lokale systemen kun je vrij simpel de stekker eruit trekken, maar voor SAAS en/of cloud gebaseerde diensten die rechtstreeks gebruik maken van bijvoorbeeld Active Directory is dat een stuk lastiger.

Anders dan anders

Waar het NCSC normaliter vooral focust op de coördinatie en ondersteuning met processen en informatie, was het in dit geval vooral nodig technische expertise te brengen voor de wederopbouw van de IT-omgeving.  Na contact met de desbetreffende leverancier blijkt dat er een verschil in inzicht is over de dienstverlening. De VNOG besluit hierop de keuze te maken om over te gaan op een andere leverancier. Totdat de nieuwe leverancier aanwezig was, was de betrokkenheid van het NCSC bij het herstelproces des te belangrijker. We hebben gekeken waar de knelpunten zaten en deze zo goed mogelijk opgelost. De incident respons experts van het NCSC hebben uiteenlopende IT-expertise, waardoor er altijd wel een paar medewerkers beschikbaar zijn om dit soort specifieke werkzaamheden uit te voeren, totdat we via onze netwerken externe specialisten op locatie konden krijgen die deze taken overnamen. Als een organisatie besluit om de complete omgeving opnieuw op te bouwen, wat vaak het veiligste is, komt daar veel bij kijken. Daarbij wil je in de nieuwe architectuur waar mogelijk zoveel mogelijk verbeteringen meenemen, om direct wat quick-wins mee te pakken.

Herbouw beheeromgeving

De systemen die gebruikt werden door de beheerders waren deels ook geraakt door de gijzelsoftware, waardoor het nodig was om eerst een schone omgeving te maken voor beheer. Alle laptops van beheerders werden apart gezet en benodigde zaken zoals documentatie en toegangsgegevens werden via een scanstraat overgezet naar schone media. Toevallig was er enkele dagen voor de aanval een levering van laptops geweest die nog in de doos zaten en daarmee snel ingezet konden worden voor systemen van beheerders.

Herstelstrategie

Naast werkzaamheden aan de beheeromgeving heeft het NCSC samen met Fox-IT en de VNOG-beheerders een strategie uitgewerkt om de productiesystemen zo snel mogelijk te herstellen met zo min mogelijk risico’s.

Daarbij is besloten om de oude omgeving los te koppelen van de rest van het netwerk en een compleet nieuwe omgeving op te bouwen waarop alles hersteld kon worden. Op deze manier was het mogelijk om gelijktijdig forensische informatie veilig te stellen en onderzoek te doen naar de toedracht, terwijl daarnaast ook de nieuwe omgeving opgebouwd kon worden. De acceptatieomgeving die ook werd geraakt door de gijzelsoftware werd gebruikt om processen te testen, voordat dit op productiesystemen werd uitgevoerd, zodat we met enige zekerheid wisten dat dit geen impact had op de productiedata.

Voor de nieuwe omgeving waren nieuwe servers, netwerk en andere apparatuur nodig. Zondagnacht was de leverancier Ynvolve bereikbaar en bereid om deze benodigde apparatuur te leveren, zodat we snel aan de slag konden met de installatie van de nieuwe omgeving.

De ICT-afdeling van VNOG richt zich vooral op het draaiende houden van hun omgeving en is verder afhankelijk van een leverancier. Zoals aangegeven was deze leverancier niet beschikbaar, waardoor wederom in het NCSC-netwerk is gekeken welke partijen de verdere installatie en configuratie konden regelen. Onder meer KPN stuurde daarop twee specialisten.

Wasstraat

Nadat de nieuwe omgeving in de lucht was en de back-up server daaraan gekoppeld was, kon begonnen worden met het terugzetten van de back-ups. Gelijktijdig is een wasstraat gemaakt waarop gecompromitteerde systemen werden hersteld en gecontroleerd en nadat ze schoon waren bevonden gekopieerd naar de nieuwe omgeving. Het proces werd uitgewerkt en daarna getest. Daarna is een groep van ICT-vrijwilligers met een beheerder in een nachtploeg ingezet om het proces uit te voeren.

NCSC zwaait af

Na ruim een week van zeer lange dagen kon de organisatie weer zelfstandig verder. De nieuwe omgeving was beschikbaar en het proces om verder te herstellen werd verder door eigen medewerkers uitgevoerd.

Voordat het NCSC vertrok liepen we op de achtergrond mee om te controleren of het herstelplan en daarbij behorende processen ook echt goed liepen. Daarna konden we samen met VNOG vaststellen dat de aanwezigheid van het NCSC niet meer noodzakelijk was. Afgesproken werd om telefonisch contact te hebben bij eventuele opkomende vraagstukken.

Belangrijkste lessen

1. Zorg dat je voorbereid bent en weet wie wat moet doen bij een cybersecurity incident. Stel vast bij welke incidenten beheerders zelfstandig mogen ingrijpen (bijvoorbeeld ‘alle kabels eruit’) en waarvoor je een externe expert inschakelt. Maak hierover duidelijke afspraken met bestaande leveranciers. Een cyberaanval is heel wat anders dan een harde schijf vervangen. Zorg dat je weet wie je gaat bellen op het moment dat je ze nodig hebt. Tip: print deze informatie uit en bewaar op een veilige plek.
2. Oefen met de afspraken die je gemaakt hebt aan de hand van verschillende scenario’s. Lukt het terugzetten van een back-up bijvoorbeeld wel? En waar is deze back-up restore van afhankelijk?
3. Deel informatie. De kans is vrij groot dat jij niet het enige doelwit bent. Door het delen van indicators of compromise (IoC’s) kunnen andere organisaties zich beschermen of schade beperken. Wees open in communicatie, maar waakzaam in wat je deelt. Houd zelf in de hand wat je deelt en dat dit in de juiste context wordt geplaatst.

Wat voor ons heel prettig heeft gewerkt is dat VNOG vanuit hun crisisorganisatie een zeer gestructureerde aanpak hanteerde voor dit incident. Door meermaals per dag een centraal overleg te organiseren en daarna korte lijnen tussen uitvoerenden en directie te houden, konden belangrijke beslissingen snel genomen worden. Dit heeft zeer zeker bijgedragen aan een sneller herstel. Ook de samenwerking met de IT-medewerkers, KPN, en Fox-IT erg goed, alsof we al jaren samenwerkten als collega’s.

Bart Vrancken - Security Specialist

Meer weten?

Bekijk de video (vanaf 1:33:12) die gemaakt is in aanloop naar cyberoefening ISIDOOR. Diemer Kransen, directeur en regionaal commandant Veiligheidsregio Noord- en Oost-Gelderland, geeft toelichting op dit incident (vanaf 1:33:12).