Dagimpressie ISACA/NOREA/PvIB IT-risk event 2023

27 november, 2023
Op donderdag 16 november 2023 was het dan weer zover: het IT-risk event! Dit jaar vond het plaats in “Spant !” in Bussum. En dag met verschillende vakinhoudelijke presentaties rond het centrale thema: Artificiële Intelligentie ofwel AI. Ook NOREA had een actieve inbreng door bijdragen van de kennisgroep ‘Algorithm & Assurance’ en de werkgroep ‘Reporting Initiative’ aan dit programma.
Een dagimpressie door Jean-Jacques Bistervels en Frits Heijman
Diversiteit aan onderwerpen
In deze impressie staan we als redactie stil bij een selectie van sprekers en presentaties. Het programma was breed opgezet met vier ‘streams’ aan onderwerpen per tijdsblok. Voor de deelnemers was er dus een ruime keuze voor handen. En ook met een behoorlijke diversiteit aan benaderingen van het onderwerp:
  • Toepassingen per sector: het was zeker niet slechts de financiële sector. Mooi was te zien dat de zorg ook reeds acte de presence gaf;
  • toepassing in productontwikkeling: met name binnen (software-)ontwikkeling of zelfs vóór de ontwikkeling van software;
  • toepassing in corporate governance: voor risk management, handhaven van compliance, borgen van beveiliging;
  • en natuurlijk ook de audit van of het vertrouwen in AI als object zelf met allerlei variaties hierop.
Ter illustratie hieronder een uitwerking van een stream die werd omgeven met netwerkmomenten, een heerlijke lunch en tenslotte voor de ‘harde kern’ ook nog een heerlijk buffet.

Vanwege verkeers- en parkeerproblemen moesten we als redactie noodgedwongen de openingsspeech van Firas Abali langs ons heen laten gaan en vielen we midden in een hilarische keynote van Srinivas Mukkamala. Hij nam ons mee in allerlei mooie toepassingen van AI, om daarna ons allen fijntjes te wijzen op wat AI allemaal nog niet kan of zelfs gewoon bij elkaar ‘hallucineert’. Top! Moeten we goed blijven onthouden als risk professionals. De toepassingen zijn echt mooi, maar met hele diepe dalen als je het ‘fout’ toepast. Hijzelf was blij, want bleek auteur te zijn van 4 goede boeken (die hij nooit had geschreven). Als afronding behandelde hij nog een aantal aanvalsfactoren om een AI-toepassing (ofwel LLM) te kunnen corrumperen.
Futuroloog Arnaud Wiehe
Na een korte coffee break volgde een futuristische uiteenzetting door futuroloog Arnaud Wiehe. Arnoud hield zijn gehoor voor dat we in de hype-fase zitten van AI. Het is inmiddels een buzzword. Zijn grootste vraag: hoe gaan we veilig om met AI? ‘Guardrails’ worden gevormd, maar mensen zijn slecht in het inschatten wat nieuwe technologie op langere termijn met de samenleving kan doen. En hij verwijst naar het ‘collingridge dilemma’. Als een middel om de risico’s te beheersen gaat hij in op de AI security risk assessment.
DevSecOps
In mijn 2e ronde nam Irfaan Santoe het over met een uiteenzetting over DevSecOps en ging hij ook in op de toepassing van AI binnen de software delivery. Drie elementen zijn hierbij van belang: Methode, Inclusiviteit en Automatisering. Hij benadrukte dat Automatisering ‘slechts’ 20% van de invloed op kwaliteit en leverbetrouwbaarheid heeft in de delivery-keten. Ook geeft hij mee dat hoewel het er mooi uit ziet, de kwaliteit van code gegenereerd door AI gemiddeld genomen nog altijd lager is dan die van een menselijke, professionele developer. Hij eindigde zijn presentatie met een aantal korte voorbeelden van toepassing van AI in de automatisering van de delivery-keten.
NOREA Reporting Initiative
Tegelijk met Irfaan hield ook de NOREA-werkgroep ‘Reporting Initiative’ hun presentatie over welke essentiële beslissingen organisaties moeten maken voordat zij AI als een toepassing gaan inzetten. Als een middel hiervoor heeft Ron Hakvoort de luisteraar wegwijs gemaakt in het Thrustworthy AI-framework. Dit raamwerk geeft kaders voor zaken als bias-herkenning, ethische afwegingen en ook compliance met wettelijke kaders (die onderweg zijn).  

In de middagpauze werd de Joop Bautz-prijs uitgereikt. Steven Wallis de Vries mocht de prijs voor beste afstudeerscriptie over informatiebeveiliging voor 2023 in ontvangst nemen. Na dit jaarlijkse hoogtepunt begon de lunch.
AI binnen software-ontwikkeling
Gerben van der Lei pakte na de lunch de draad weer op met een meer technische presentatie over AI binnen software-ontwikkeling. Hij wees erop dat security-specialisten noodzakelijk blijven: AI kan coderen en testen, maar nog niet beveiligen of veilige code maken (“Easy, fast and cheap … but not secure”). Hij liet met een ‘simpele’ praktische programmeertoepassing zien hoe de huidige AI al aan zelfcorrectie van de code kan doen als taken die het uit wil voeren niet succesvol blijken. Hij sprak hier de hoop uit dat Ai in ieder geval gaat bijdragen aan het verlagen van fouten in programmacode en het verkleinen van de complexiteit ervan. 
Beoordeling van algoritmen en de rol van de IT-auditor
Tenslotte mocht Frank van Praat met zijn bijdrage vanuit de NOREA-kennisgroep Algorithm & Assurance de toehoorders trakteren op een werkwijze die de kennisgroep voorstaat voor de beoordeling van algoritmes en de rol van de IT-auditor hierbij. Frank nam zijn toehoorders mee in welke uitdagingen de IT-auditor heeft bij de beoordeling van algoritmes. Hij heeft daarbij twee mogelijke aanpakken toegelicht: de directe en indirecte aanpak. Via een voorbeeld illustreerde hij de directe aanpak en verwees naar de NOREA-richtlijnen die de kennisgroep hierover heeft geschreven. 
De dagsluiting kwam van Dominique Schreinemachers die op basis van haar ervaringen rond haar uitzending naar Afghanistan inging op hoe mensen data verwerken en hoe omstandigheden en hun gedrag dit beïnvloedt. Na de wrap-up door de ISACA-voorzitter van het NL Chapter en het buffet kon een mooie en informatieve dag worden afgesloten. Op naar 2024!