Home Magazine

Zonder drempels geen verantwoording

23 september, 2026
Van principes naar toetsbare eisen: proportionaliteit, fairness en mens-in-de-lus
Deel 2 van een drieluik over AI-governance voor IT-auditors

Auteur: H. (Hein) van den Steenhoven 

In deel 1, “Zonder dossier geen governance”, stond het audit ready AI-dossier centraal. Dit tweede deel bouwt daarop voort: hoe worden proportionaliteit, fairness en menselijk toezicht vertaald naar toetsbare ontwerp- en besliseisen? Figuur 1 toont deze vervolgstap binnen het drieluik.
1. Introductie: kernboodschap en doel
Proportionaliteit, fairness en menselijk toezicht worden pas auditbaar wanneer een organisatie ze vóór ingebruikname vertaalt naar toetsbare drempels, besliskaarten en bewijs.

Verantwoorde AI ontstaat niet door principes op te schrijven, maar door per toepassing vooraf te bepalen hoe zwaar de beheersing moet zijn, welk fairness-doel wordt gemeten, wie mag ingrijpen en welk bewijs de review levert. Dit artikel laat zien hoe die vertaling werkt, zodat de lezer bij een concrete AI-toepassing de opzet, het bestaan en de werking van deze eisen kan beoordelen. Het richt zich op IT-auditors en risk professionals en behandelt de ontwerp- en beslisfase. Monitoring, incidenten en bijsturing volgen in deel 3.
2. Probleemstelling: principes zijn nog geen beheersmaatregelen
Deel 1 van dit drieluik beschreef het AI-dossier als fundament voor governance en audit. Dat dossier maakt feiten, versies, besluiten en bewijs vindbaar. Maar een goed gevuld dossier zegt nog niet automatisch dat de inhoudelijke keuzes verantwoord zijn. Daarvoor moet vooraf duidelijk zijn welke grenzen de organisatie hanteert.

Juist daar ontstaat ruimte voor schijnzekerheid. Een toepassing heet “laag risico” zonder analyse van de feitelijke impact. Een fairness-rapport toont alleen gemiddelde nauwkeurigheid. Een medewerker bevestigt het AI-advies, maar mist tijd, broninformatie of mandaat om af te wijken. Op papier zijn de principes aanwezig; in de besluitvorming werken zij niet.

De centrale vraag van dit artikel luidt daarom: hoe vertaalt een organisatie proportionaliteit, fairness en menselijk toezicht vooraf naar toetsbare ontwerp- en besliseisen, en welk bewijs heeft de auditor nodig om de opzet, het bestaan en de werking daarvan te beoordelen?

Het antwoord begint met een eenvoudig uitgangspunt: principes geven richting, maar drempels geven bestuurbaarheid. Zonder expliciete criteria wordt pas achteraf bepaald wat “passend”, “eerlijk” of “voldoende menselijk” was. Dan beoordeelt de auditor niet langer een beheerst proces, maar een redenering die na de uitkomst is opgebouwd.
3. Proportionaliteit als stuurprincipe
Proportionaliteit betekent dat de zwaarte van de beheersing past bij de mogelijke schade, de waarschijnlijkheid daarvan en de context waarin AI wordt gebruikt. De AI-verordening volgt een risicogebaseerde benadering. Voor hoog-risico AI moeten maatregelen voor menselijk toezicht bijvoorbeeld in verhouding staan tot het risico, de autonomie van het systeem en de gebruikscontext. Ook het risicomanagement moet gedurende de levenscyclus blijven aansluiten op bekende en redelijkerwijs voorzienbare risico’s. [EURO24]

Proportionaliteit betekent niet “zo weinig mogelijk documentatie”. Het betekent: licht waar de impact aantoonbaar klein en goed omkeerbaar is, zwaar waar rechten, toegang, veiligheid of bestaanszekerheid kunnen worden geraakt. De eerste vraag is zelfs niet hoeveel beheersing nodig is, maar of de toepassing in deze context moet worden ingezet.

Een bruikbaar impactprofiel kijkt ten minste naar de volgende factoren.
De wettelijke risicoklasse is het minimumkader, niet het volledige impactprofiel. Ook een toepassing die juridisch niet als hoog-risico kwalificeert, kan intern zwaardere beheersing verdienen door schaal, kwetsbare gebruikers, gevoelige data of beperkte omkeerbaarheid. Andersom kan een intern label wettelijke minimumeisen nooit verlichten. Het risicoraamwerk moet daarom tijdens ontwerp, gebruik en wijziging worden bijgewerkt. [TABA23]
Auditvraag: Is de gekozen beheersingsintensiteit herleidbaar tot een gedocumenteerde impactafweging, of volgt zij alleen uit een generiek label als “hoog”, “beperkt” of “minimaal”?
4. Van risicoclassificatie naar governance-maatregelen
Een classificatie eindigt niet met een kleur. Zij leidt tot concrete eisen voor documentatie, testen, menselijk toezicht, monitoring en besluitvorming. Een intern impactprofiel vult de juridische kwalificatie aan.
Verboden gebruik stopt bij de eerste gate. Voor andere toepassingen wordt het profiel opnieuw beoordeeld wanneer doel, doelgroep, data, model, beslisdrempel, autonomie of leverancier wezenlijk verandert.

De Appendix / Toolkit met formats en sjablonen is onderdeel van de driedelige uitgave AI Governance in de praktijk, naast het hoofdboek als naslagwerk en het bestuurdersdeel. De toolkit combineert AIA, FRIA en DPIA in één beslisstraat: inventarisatie en classificatie, grondrechten en fairness, privacy en datakwaliteit, risicoweging en maatregelen, gevolgd door review en besluit. Dat voorkomt dubbel werk en tegenstrijdige conclusies. 

De juridische uitkomsten blijven wel onderscheiden. Niet iedere AI-toepassing vereist een FRIA of DPIA; de beslisstraat bepaalt juist welke toets van toepassing is en hergebruikt gemeenschappelijke informatie. Een FRIA heeft onder de AI-verordening specifieke toepassingsvoorwaarden. Een DPIA volgt uit de AVG wanneer de verwerking waarschijnlijk een hoog risico voor rechten en vrijheden oplevert. [EURO16, EURO24, STEE26]
Auditvraag: Is per impactprofiel vooraf vastgelegd welke maatregelen en bewijzen verplicht zijn, en wordt bij iedere relevante wijziging opnieuw beoordeeld of dit profiel nog klopt?
5. Fairness: van waarde naar meetplan
Fairness is geen algemene eigenschap die een model wel of niet bezit. Het is een keuze over welk nadeel de organisatie in een concrete context wil voorkomen. Bij kredietvoorselectie kan dat het missen van kredietwaardige aanvragers zijn; bij fraudedetectie het verschil in fout-positieven; bij een risicoscore de vraag of dezelfde score voor groepen dezelfde werkelijke kans betekent.

Daarom begint een fairness-plan niet bij een grafiek, maar bij vooraf vastgelegde keuzes:
  1. het fairness-doel en het te voorkomen nadeel;
  2. de populatie, relevante groepen en intersectionele combinaties;
  3. de kwaliteit van het doelkenmerk of label waarmee “juist” wordt bepaald;
  4. de gekozen metrics en hun beperkingen;
  5. de drempels, onzekerheidsmarges en minimale datavolumes;
  6. de eigenaar, beslisroute en maatregelen bij overschrijding.
Een metric belicht steeds één kant van eerlijkheid. De onderstaande vier komen vaak voor.
Niet alle fairness-doelen kunnen tegelijk worden gemaximaliseerd. Bij verschillende basiskansen kunnen calibration, gelijke foutpercentages en gelijke uitkomsten conflicteren. De metric is daarom een bestuurlijke keuze over het zwaarst wegende nadeel, inclusief het effect op nauwkeurigheid en capaciteit. Een statistische fairness-metric is bovendien geen zelfstandig juridisch oordeel over discriminatie. Zij is een toetscriterium en signaal; de beoordeling vraagt ook context, vergelijkbaarheid, mogelijke rechtvaardiging en aandacht voor individuele gevolgen. [HARD16, KLEI16]
5.1 Drempels maken de norm toetsbaar
Meten zonder drempel leidt alleen tot observatie. De drempel legt vooraf vast wanneer een verschil aanvaardbaar, onderzoeksplichtig of onaanvaardbaar is. De notitie bevat naast een percentage:
  • de exacte metric en rekenwijze;
  • de referentiegroep of vergelijkingsmethode;
  • de meetperiode en minimale steekproefomvang;
  • betrouwbaarheidsintervallen of een andere onzekerheidsmaat;
  • groene, oranje en rode besliszones;
  • de tijdelijke maatregel en beslissingsbevoegdheid bij overschrijding.
Een grens van drie procentpunt kan in een casus verdedigbaar zijn, maar is geen algemene norm. Bij ernstige schade kan een kleinere tolerantie passen. Ook “te weinig data” is geen groen signaal: meet langer, voeg groepen alleen beargumenteerd samen, zet extra menselijke beoordeling in of schaal nog niet op.
5.2 Doorlopende casus: consumentenkredietvoorselectie
Deel 1 gebruikte de schade-triage bij een verzekeraar als casus. Dit deel kiest een toepassing waar de normatieve lat hoger ligt: kredietwaardigheidsbeoordeling. Een financiële instelling gebruikt AI om aanvragen voor consumentenkrediet te prioriteren en een advies te geven. Een kredietacceptant neemt de uiteindelijke beslissing. De use-case raakt de kredietwaardigheid van natuurlijke personen en krijgt daarom een hoog impactprofiel; de wettelijke classificatie wordt afzonderlijk en herleidbaar vastgelegd. [EURO24]

Het fairness-doel luidt: kredietwaardige aanvragers in vergelijkbare omstandigheden hebben een vergelijkbare kans op een terecht positief advies; verschillen tussen de in het fairness-plan bepaalde groepen blijven binnen vooraf vastgestelde grenzen. De primaire metric is equal opportunity per groep. Een tweede metric beoordeelt calibration: betekent een score van bijvoorbeeld 70 procent in iedere relevante groep ongeveer hetzelfde? De organisatie stelt vooraf een illustratieve oranje grens van drie procentpunt en een rode grens van vijf procentpunt vast, mits aantallen en onzekerheidsmarges voldoende zijn. Bij oranje volgt oorzaakanalyse en tijdelijk extra menselijke beoordeling. Bij rood pauzeert de modelondersteuning voor de betrokken beslisroute en geldt volledige menselijke beoordeling, totdat een bevoegde commissie over maatregelen en restrisico heeft besloten.

Een correctie kan de totale nauwkeurigheid iets verlagen en tegelijk onterechte uitsluitingen verminderen. Management besluit welk prestatieverlies aanvaardbaar is. De auditor kiest die waarde niet, maar beoordeelt of de keuze geschikt, onderbouwd, bevoegd genomen en consequent toegepast is.
Auditvraag: Is het fairness-doel vooraf vertaald naar groepen, metrics en drempels met onzekerheidsmarges, en is bij een overschrijding aantoonbaar volgens de afgesproken beslisroute gehandeld?
6. Non-discriminatie in de praktijk: waar gaat het mis?
Een by-group-grafiek aan het einde van modelontwikkeling is onvoldoende. Bias kan vóór, in en na het model ontstaan. De EDPB-checklist kiest daarom een end-to-end, sociaal-technische audit: van wereld naar data en variabelen, van patronen naar voorspellingen en van beslissingen terug naar de wereld. [GALD23]
Beschermde of gevoelige kenmerken kunnen nodig zijn om discriminatie te meten, zonder dat zij beslisvariabelen zijn. Dat vraagt om juridische en privacybeoordeling, doelbinding, beperkte toegang en zo nodig een afgescheiden validatiedataset. Zonder grondslag verzamelen is onzorgvuldig; groepen volledig negeren kan discriminatie onzichtbaar maken. Leg die afweging vast in de toepasselijke DPIA, FRIA of fairness-notitie. [EURO16, GALD23, SCHW22]
Auditvraag: Is bias uitsluitend aan het model toegeschreven, of heeft de organisatie ook historische besluiten, dataselectie, labels, werkprocessen en effecten na ingebruikname onderzocht?
7. Human oversight die echt werkt
Menselijk toezicht is geen handtekening onder een automatisch voorstel. Voor hoog-risico AI verlangt de AI-verordening dat aangewezen personen systeemgrenzen begrijpen, alert zijn op automation bias, output juist interpreteren, uitkomsten kunnen negeren, overrulen of terugdraaien en het systeem veilig kunnen stoppen. [EURO24]

In de praktijk rust werkend toezicht op vijf voorwaarden:
7.1 De besliskaart
Een besliskaart vertaalt human oversight naar het beslismoment. Zij beschrijft toegestaan gebruik, verplichte controles, criteria voor extra informatie, override of escalatie, bevoegdheden en de route naar een veilige pauze. Voor de kredietcasus ziet de kern er als volgt uit.
De medewerker ziet de score, belangrijkste redenfactoren, ontbrekende gegevens en handelingsroute. Volledige modelreconstructie is niet nodig; herkenning van gebruik buiten het geldige toepassingsgebied wel.
7.2 De override-KPI: signaal, geen streefgetal
percentage kan wijzen op automation bias, tijdgebrek of beperkt mandaat, maar ook op een goede aansluiting tussen model en proces. Een zeer hoog percentage kan duiden op een slechte aansluiting tussen model en proces, verouderde data, onduidelijke instructies of wantrouwen.

Eén totaalpercentage is onvoldoende. Analyseer trend, team, besluitsoort, groep, richting van de afwijking, afstand tot de modeldrempel, reden en latere uitkomst. Een bandbreedte zoals 2–8 procent kan een casusspecifiek onderzoekssignaal zijn, maar is geen algemene norm of prestatiedoel. Anders ontstaat cijfersturing in plaats van betekenisvol toezicht.

Sterkere indicatoren combineren overrides met motiveringskwaliteit, herbeoordelingsuitkomst, doorlooptijd en succesvolle correcties. De kernvraag is of de mens op de juiste momenten zelfstandig en aantoonbaar oordeelt.
7.3 Uitleg en route naar een mens
Transparantie werkt aan twee kanten. De medewerker begrijpt wat AI wel en niet doet. De betrokken persoon weet in gewone taal dat AI een rol speelt, welke hoofdredenen relevant zijn en hoe menselijke toelichting of herbeoordeling kan worden gevraagd. Volledige modelopenbaarmaking is daarvoor niet nodig.

Wanneer artikel 22 AVG van toepassing is op uitsluitend geautomatiseerde besluitvorming met rechtsgevolgen of een vergelijkbaar aanzienlijk effect, behoren menselijke tussenkomst, het geven van een zienswijze en het betwisten van het besluit tot de waarborgen. Buiten die precieze wettelijke situatie blijft een duidelijke route naar een mens een sterke beheersmaatregel, maar zij moet niet zonder meer als dezelfde juridische verplichting worden gepresenteerd. [EURO16]
Auditvraag: Kan de auditor aan de hand van een werkelijk besluit reconstrueren welke AI-output beschikbaar was, welke informatie de medewerker zag, waarom hij of zij volgde of afweek en of de betrokkene toegang had tot menselijke herbeoordeling?
8. Bewijsbaar maken: beslisstraat, crosswalk, register en reviews
De keuzes uit dit artikel horen niet in losse ethieknotities. Zij komen terug in de beslisstraat, crosswalk, het AI-register en de review-evidence-set.
Het AI-register bevat vervolgens niet alleen de risicoklasse, maar ook het interne impactprofiel, het fairness-doel, de gekozen metric en drempel, de vorm van menselijk toezicht, de reviewfrequentie, de laatste beslissing over restrisico en openstaande CAPA’s. De crosswalk verbindt deze eisen met processen, bewijs en eigenaren. Daardoor ziet de auditor niet alleen dát een principe bestaat, maar waar het is ontworpen en hoe het wordt aangetoond.

De review-evidence-set bevat voor dit artikel minimaal het volgende bewijs:
  • de actuele impact- en classificatiebeslissing;
  • het fairness-rapport met resultaten per groep, drempel en onzekerheid;
  • de trade-off- en restrisiconotitie;
  • de besliskaart en het trainingsbewijs;
  • het override- en escalatielog met analyse;
  • voorbeelden van uitleg en de route naar menselijke herbeoordeling;
  • open en gesloten CAPA’s met zichtbaar effect.
De review is geen presentatie van gemiddelden, maar een besluitmoment over behaalde grenzen, afwijkingen, tijdelijke maatregelen en doorgaan, aanpassen, pauzeren of stoppen.
9. Implicaties voor IT-auditors: toetsingscriteria en controle-aanpak
Voor IT-auditors blijft opzet, bestaan en werking leidend. Statistische diepgang kan specialistische ondersteuning vragen, maar de auditvraag omvat ook governance, procesinbedding, gegevens, menselijke besluitvorming en bewijs. ISACA legt eveneens de nadruk op governance, integratie en effectieve beheersmaatregelen. [ISAC18, ISAC24]
De auditor beoordeelt of fairness-criteria geschikt en reproduceerbaar zijn en of afwijkingen volgens de governance zijn behandeld. Hij of zij neemt de normatieve keuze niet over en keurt de drempel niet vooraf goed. Een modelspecialist kan de statistische validatie ondersteunen; de derde lijn houdt het onafhankelijke eindoordeel.

Rode vlaggen voor de audit
  1. De wettelijke klasse is vastgelegd, maar een contextueel impactprofiel ontbreekt.
  2. Het fairness-doel gebruikt woorden als “eerlijk” of “zonder bias”, maar heeft geen metric, drempel of eigenaar.
  3. Alleen gemiddelde nauwkeurigheid wordt gerapporteerd; resultaten per groep en foutsoort ontbreken.
  4. Beschermde kenmerken zijn uit het model verwijderd, maar proxies en intersectionele effecten zijn niet onderzocht.
  5. De drempel is pas gekozen nadat de testresultaten bekend waren.
  6. Kleine aantallen of brede onzekerheidsmarges worden zonder maatregel als groen gerapporteerd.
  7. De mens-in-de-lus ziet alleen een AI-samenvatting, heeft onvoldoende tijd of kan technisch niet overrulen.
  8. Het override-percentage wordt als streefgetal gebruikt, niet naar reden en uitkomst geanalyseerd, of ontbreekt volledig.
  9. Uitleg bestaat, maar er is geen werkende route naar menselijke herbeoordeling of bezwaar.
  10. Fairness- of oversightafwijkingen leiden niet aantoonbaar tot een besluit, tijdelijke maatregel en CAPA.
10. Conclusie en brug naar deel 3
Proportionaliteit, fairness en menselijk toezicht worden pas toetsbaar wanneer een organisatie vooraf expliciete ontwerp- en besliskeuzes maakt. Proportionaliteit koppelt de feitelijke impact aan de zwaarte van documentatie, validatie, toezicht en review. Een fairness-plan vertaalt het te voorkomen nadeel naar groepen, metrics, drempels, trade-offs en escalatie. Werkende human oversight geeft mensen niet alleen een formele rol, maar ook bekwaamheid, informatie, tijd, mandaat en technische ruimte om te negeren, overrulen, escaleren of stoppen.

Voor de auditor ligt het bewijs in de samenhang. De impactafweging moet terugkomen in de maatregelenset. Het fairness-doel moet herkenbaar zijn in de meting en de beslissing bij overschrijding. De besliskaart moet zichtbaar zijn in feitelijke besluiten, override-patronen en herbeoordelingen. Crosswalk, register en review-evidence-set verbinden die onderdelen tot één audittrail.

Daarmee is het ontwerp verdedigbaar, maar nog niet blijvend beheerst. Deel 3 gaat daarom over de operationele vraag: blijven prestaties, robuustheid en fairness na livegang binnen de grenzen, worden afwijkingen tijdig gezien en leiden monitoring, incidenten en CAPA’s aantoonbaar tot verbetering?
Literatuur
  • [EURO16] Europese Unie. Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens (AVG). Publicatieblad van de Europese Unie, 4 mei 2016. https://eur-lex.europa.eu/eli/reg/2016/679/oj. Laatst gecontroleerd op 17 juli 2026.
  • [EURO24] Europese Unie. Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (AI-verordening). Publicatieblad van de Europese Unie, 12 juli 2024. https://eur-lex.europa.eu/eli/reg/2024/1689/oj. Laatst gecontroleerd op 17 juli 2026.
  • [GALD23] Galdon Clavell, G. AI Auditing - Checklist for AI Auditing. European Data Protection Board, Support Pool of Experts Programme, 2023. https://www.edpb.europa.eu/documents/support-pool-of-experts/ai-auditing_en. Laatst gecontroleerd op 17 juli 2026.
  • [HARD16] Hardt, M., Price, E. en Srebro, N. “Equality of Opportunity in Supervised Learning.” Advances in Neural Information Processing Systems 29, 2016. https://proceedings.neurips.cc/paper/2016/hash/6a9659feb1216f14f7384ba499518b38-Abstract.html. Laatst gecontroleerd op 17 juli 2026.
  • [ISAC18] ISACA. Auditing Artificial Intelligence: What IT Auditors Need to Know. ISACA, 2018. https://www.isaca.org/resources/white-papers/auditing-artificial-intelligence. Laatst gecontroleerd op 17 juli 2026.
  • [ISAC24] ISACA. Artificial Intelligence Governance Brief. ISACA, 2024. https://www.isaca.org/resources/ebook/artificial-intelligence-governance-brief. Laatst gecontroleerd op 17 juli 2026.
  • [KLEI16] Kleinberg, J., Mullainathan, S. en Raghavan, M. “Inherent Trade-Offs in the Fair Determination of Risk Scores.” 2016. https://arxiv.org/abs/1609.05807. Laatst gecontroleerd op 17 juli 2026.
  • [SCHW22] Schwartz, R., Vassilev, A., Greene, K., Perine, L., Burt, A. en Hall, P. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence. NIST Special Publication 1270, 2022. https://doi.org/10.6028/NIST.SP.1270. Laatst gecontroleerd op 17 juli 2026.
  • [STEE26] Van den Steenhoven, H. AI Governance in de praktijk. Driedelige uitgave: hoofdboek, Appendix / Toolkit en Bestuurdersdeel. BoekenGilde, 2026.
  • [TABA23] Tabassi, E. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1, National Institute of Standards and Technology, 2023. https://doi.org/10.6028/NIST.AI.100-1. Laatst gecontroleerd op 17 juli 2026.
Disclaimer
Bij het schrijven van dit artikel is gebruikgemaakt van een AI-tool ter ondersteuning bij analyse, taal- en structuurverbetering en de ordening van bronmateriaal. De inhoud en de bronverwijzingen zijn door de auteur handmatig gecontroleerd en definitief opgesteld. De eindverantwoordelijkheid voor de inhoud, juistheid en actualiteit van het artikel ligt bij de auteur.
Lees hier deel 1 van deze drieluik
H. (Hein) van den Steenhoven
H. (Hein) van den Steenhoven is medeoprichter van ARCAAS en het IT auditbedrijf AuditNexus. Hij werkt op het snijvlak van audit, risk, compliance en (AI-)governance. Hein heeft ruime ervaring binnen financiële instellingen en vervulde onder meer interim-managementrollen op het gebied van operational risk management, compliance en governance. Hij is auteur van meerdere vakboeken, waaronder Handboek Compliance, Handboek Business Continuity Management, Organisatie in transitie: De drie lijnen aan zet en AI Governance in de praktijk. Daarnaast is hij docent en publicist op het gebied van AI-governance, risk en compliance.