menu

Van bron tot classificatie: hoe LLM-analyses toetsbaar worden

26 oktober, 2026

Auteur: Nard Janssens

Introductie

Large Language Models (LLM’s) bieden belangrijke mogelijkheden om omvangrijke hoeveelheden tekst systematisch te analyseren. In de praktijk maken steeds meer organisaties hiervan gebruik. Denk aan de classificatie van incidentmeldingen, het signaleren van afwijkingen in contracten of het samenvatten van bevindingen uit interne rapportages. De uitkomsten kunnen onderdeel worden van managementinformatie en risicobeoordelingen. Daarmee ontstaat voor de IT-auditor een nieuwe vraag: op welke gronden mag een organisatie op LLM-analyses vertrouwen? Een plausibel geformuleerde uitkomst is immers nog geen aantoonbaar betrouwbare uitkomst.

Ook auditors kunnen LLM’s inzetten bij hun eigen documentonderzoek. Handmatige analyse kost tijd en uiteenlopende interpretaties beperken de vergelijkbaarheid. LLM’s kunnen dit werk systematischer en op grotere schaal ondersteunen, mits de kwaliteit controleerbaar blijft. Daarbij staan zij voor dezelfde vraag: in hoeverre kunnen zij op de uitkomsten van deze analyses vertrouwen?

Het paper A Trustworthy LLM-Assisted Qualitative Content Analysis Method [JANS26] ontwikkelt en toetst daarvoor een gestructureerde analysemethode. De kern is dat de betrouwbaarheid van LLM-ondersteunde inhoudsanalyse niet alleen afhangt van goede prompts, maar ook van een gestructureerd en toetsbaar analyseproces. Deze methode biedt auditors twee toepassingsmogelijkheden: de beheersing van LLM-analyses bij organisaties beoordelen én de methode inzetten voor eigen documentonderzoek.

Probleemstelling

Een methode om documenten systematisch te analyseren is kwalitatieve inhoudsanalyse (Qualitative Content Analysis, QCA). [MAYR14] Hierbij worden relevante tekstpassages volgens vooraf vastgestelde regels in categorieën ingedeeld, zowel bij handmatige als bij LLM-ondersteunde analyse. Een codeboek bevat daarvoor categorieën, definities en beslisregels. Voor auditors is dit vergelijkbaar met een classificatiekader voor dossieronderzoek. Het codeboek verschilt echter wel van een auditnormenkader: het bepaalt hoe tekst wordt geclassificeerd, niet aan welke eisen een organisatie moet voldoen.

Het handmatig toepassen van deze werkwijze is bij honderden documenten tijdrovend: iedere relevante passage moet worden gelezen, beoordeeld en consequent ingedeeld. LLM’s kunnen grote delen van deze verwerking automatiseren, maar brengen specifieke risico’s voor de kwaliteit van de analyse met zich mee, zoals:

Het LLM kan een tekstfragment bij herhaling verschillend classificeren of informatie uit eerdere documenten laten meewegen bij de beoordeling van een volgend rapport. Zo kan de beoordeling van een rapport worden beïnvloed door eerder geanalyseerde rapporten, zelfs wanneer expliciet is voorgeschreven dat documenten afzonderlijk moeten worden beoordeeld.
Bij omvangrijke, repetitieve taken werd waargenomen dat het LLM Python-scripts gebruikte om trefwoorden en synoniemen te onderzoeken. Dit wijst op een verschuiving naar vereenvoudigde patroonherkenning (‘pattern-based shortcuts’), terwijl een inhoudelijke classificatie volgens het codeboek (semantische codering) was voorgeschreven.
Daarnaast kan blijken dat het LLM aanvullende aannames of informatie laat meewegen die niet uit de aangeleverde documenten afkomstig zijn, maar bijvoorbeeld uit eerdere analyses of algemene kennis waarover het model beschikt. Hierdoor kunnen uitkomsten plausibel lijken, maar onvoldoende door de onderzochte brontekst worden ondersteund.

Wanneer bronbewijs en een onderbouwing ontbreken, zijn dergelijke fouten achteraf moeilijk te herkennen en te controleren. Deze risico’s worden niet opgelost door alleen de prompt aan te scherpen.

Het onderzoek stelt daarom drie toetsingscriteria voor de kwaliteit van de onderzoeksmethode en specifiek de coderingsfase (het selecteren en classificeren van tekstpassages):

Reproduceerbaarheid: levert het LLM bij herhaling van dezelfde analyse onder gelijke omstandigheden dezelfde of vergelijkbare resultaten op?
Betrouwbaarheid: past het LLM de vooraf vastgestelde definities en beslisregels uit het codeboek correct en consistent toe?
Traceerbaarheid: kan iedere classificatie worden teruggevoerd op de oorspronkelijke brontekst én kan aan de hand van het codeboek, de gebruikte instructies en de motivering worden vastgesteld hoe de classificatie is onderbouwd?

De methode: van auditvraag naar controleerbare documentanalyse

De methode bestaat uit drie hoofdfasen: (1) het vertalen van de auditvraag naar toetsbare uitspraken en het opstellen van coderingsregels, (2) LLM-ondersteunde documentanalyse in afzonderlijk controleerbare stappen en (3) menselijke validatie en interpretatie van de resultaten. Beheersmaatregelen (safeguards) ondersteunen de inrichting, uitvoering en evaluatie, terwijl de kwaliteit wordt beoordeeld op reproduceerbaarheid, betrouwbaarheid en traceerbaarheid. Geconstateerde afwijkingen kunnen aanleiding geven tot aanpassing van de methode en een nieuwe analyse (figuur 1).

1. Vertaal de auditvraag naar toetsbare uitspraken

Stel dat een auditor in 150 auditrapporten wil nagaan welke governanceproblemen terugkeren. Bij een propositiegestuurde aanpak vertaalt hij de vraag “Welke risico’s zien we?” naar een toetsbare uitspraak, bijvoorbeeld: “In rapporten met onduidelijke verantwoordelijkheden voor monitoring worden ook tekortkomingen in escalatie gesignaleerd.” Zo ligt vooraf vast welke mogelijke samenhang wordt onderzocht en welk bronbewijs relevant is. Rapporten kunnen de propositie ondersteunen, tegenspreken of onvoldoende informatie bevatten. In het paper zijn de proposities theoretisch onderbouwd; dit voorbeeld is illustratief.

Om dit te toetsen, definieert de auditor in een codeboek wanneer passages gaan over monitoring, verantwoordelijkheden of escalatie en hoe ze worden geclassificeerd. Dit maakt de toepassing van regels controleerbaar en beperkt eigen interpretaties van het LLM. Bij onvoldoende bewijs volgt de classificatie “onduidelijk”. De meerwaarde is de expliciete koppeling tussen toetsbare uitspraak, bronpassage en classificatieregel. Voor een normatief oordeel over de organisatie blijft daarnaast een afzonderlijk auditnormenkader nodig.

2. Analyseer in controleerbare stappen

De documentanalyse bestaat uit vier typen werkzaamheden, waarbij de inhoudelijke classificatie afzonderlijk voor iedere toetsbare vraag kan worden uitgevoerd:

Tekstextractie: selecteer uit ieder document de relevante gedeelten, bijvoorbeeld bevindingen en aanbevelingen. Controleer daarbij of tekst uit PDF’s correct is overgenomen.
Afbakening: splits de geselecteerde tekst in kleine, zelfstandig te beoordelen passages. Eén aanbeveling over zowel monitoring als eigenaarschap kan bijvoorbeeld twee afzonderlijke analyse-eenheden bevatten.
Beoordeling relevantie: stel per passage vast of die werkelijk betrekking heeft op de auditvraag. Een algemene aanbeveling over projectplanning hoeft bijvoorbeeld niet relevant te zijn voor een onderzoek naar governance en escalatie.
Inhoudelijke classificatie (semantische codering): ken op basis van de betekenis van de passage de juiste categorie uit het codeboek toe. Het gaat daarbij om meer dan het herkennen van trefwoorden. Deze stap vindt plaats per toetsbare vraag die geformuleerd is in stap 1.

Deze scheiding is essentieel voor de controleerbaarheid. Wanneer “niet-uitvoerbare escalatie” onvoldoende wordt gevonden, kan de auditor onderzoeken of relevante aanbevelingen ontbreken door gebrekkige PDF-extractie, onjuiste afbakening, een verkeerde relevantiebeoordeling of fouten in de uiteindelijke classificatie. Iedere stap kan daarmee afzonderlijk worden beoordeeld en verbeterd.

3. Valideer, verbeter en interpreteer

Voor iedere stap in de documentanalyse beoordeelt de auditor in hoeverre wordt voldaan aan de criteria reproduceerbaarheid, betrouwbaarheid, en traceerbaarheid. Daarbij moet het LLM voor elke classificatie een letterlijk broncitaat en een korte motivering (‘rationale’) vastleggen. De auditor controleert vervolgens een selectie van classificaties: staat het aangehaalde fragment inderdaad in het document, valt de passage binnen de gekozen categorie en zijn de beslisregels correct toegepast? Daarnaast wordt de analyse onder gelijke omstandigheden herhaald om vast te stellen of de uitkomsten hetzelfde of materieel gelijkwaardig zijn (reproduceerbaarheid). Verschillen leiden waar nodig tot verbetering van codeboek en instructies, waarna opnieuw wordt getest. Pas na deze kalibratie wordt de volledige verzameling verwerkt. Bij de interpretatie van patronen blijven contextkennis, uitzonderingen en professionele oordeelsvorming nodig.

De methode bouwt voort op Mayring, Chew en Yin. De vernieuwing ligt in de combinatie van propositiegestuurde analyse, afzonderlijk toetsbare stappen en expliciete kwaliteitscontroles — niet in een nieuwe prompttechniek. [MAYR14, CHEW23, YIN84, JANS26]

Bevindingen

De methode is geëvalueerd met 155 openbaar beschikbare Nederlandstalige auditrapporten van het Adviescollege ICT-toetsing (AcICT) en gemiddeld is elk rapport ongeveer vijf pagina’s lang. [JANS26] De rapporten bevatten technische, organisatorische en governancegerelateerde aanbevelingen. Per verwerkingsstap werd een aselecte steekproef van zes documenten, met samen ongeveer 80 tot 120 aanbevelingen, handmatig gevalideerd. De methode is in acht iteraties aangescherpt en na verwerking van de volledige verzameling is aanvullend gecontroleerd.

Tijdens de evaluatie bereikte het LLM met vooraf vastgestelde beslisregels een hoge mate van overeenstemming met menselijke validatie. Bij het afbakenen van tekstfragmenten bedroeg deze overeenstemming 94,9% en bij het beoordelen van de relevantie 93,8%. In alle beoordeelde stappen was bovendien bij 100% van de classificaties een broncitaat en een expliciete motivering aanwezig. Deze uitkomsten zijn gunstig, maar betreffen de naleving van coderingsregels zoals beoordeeld door één onderzoeker.

Tegelijkertijd bleek de stabiliteit van de uitkomsten een aandachtspunt. Herhaalde verwerking leverde 91,7% overeenkomst op bij het afbakenen van tekstfragmenten en 84,8% bij de relevantiebeoordeling. Ook bij de inhoudelijke classificatie varieerden de resultaten tussen documenten en categorieën. De vooraf gehanteerde grens van 90% werd dus niet overal bereikt. Beperkte reproduceerbaarheid kan voortkomen uit onduidelijke coderingsregels of ongewenste contextinvloeden, maar ook wijzen op ambigue of ontoereikende informatie in brondocumenten. Herhaalde analyses kunnen dergelijke documenten signaleren voor handmatige codering, correctie of — wanneer een verantwoorde classificatie niet mogelijk is — uitsluiting. Deze aanvullende controle is in het paper voorgesteld, maar niet afzonderlijk getoetst.

Vooral bij verwerking op grotere schaal kwamen twee risico’s nadrukkelijk naar voren: informatie uit eerder beoordeelde documenten beïnvloedde latere classificaties, en bij repetitieve taken ging het LLM soms op oppervlakkige patronen af in plaats van de betekenis van tekst te beoordelen. Aanvullende aanwijzingen in een doorlopende chatsessie verhielpen dit niet. Daarom werden twee extra beheersmaatregelen ingevoerd: het analyseren van zo klein mogelijke, inhoudelijk samenhangende tekstfragmenten en het uitvoeren van beoordelingen in afzonderlijke, schone sessies.

Voor auditors is de belangrijkste les dat een geslaagde proef met enkele documenten onvoldoende zekerheid geeft voor grootschalige analyse. Zowel de toetsbaarheid van de vraagstelling als de stabiliteit van de uitvoering moeten worden gecontroleerd en blijken uit het dossier. Het onderzoek heeft de feitelijke tijdsbesparing en kosten ten opzichte van volledig handmatige analyse niet systematisch gemeten.

Drie toetsingscriteria voor documentanalyse

De drie kwaliteitscriteria uit het paper kunnen ook worden vertaald naar toetsingscriteria voor de IT-auditor. Zij beschrijven verschillende eigenschappen van het classificatieproces en mogen niet op één hoop worden gegooid. Een analyse kan bijvoorbeeld telkens hetzelfde verkeerde antwoord geven (reproduceerbaar, maar niet betrouwbaar) of een goed onderbouwde codering opleveren die bij herhaling toch verandert (traceerbaar, maar onvoldoende reproduceerbaar).

Bij toepassing van de drie toetsingscriteria moet de auditor vooraf bepalen hoeveel classificaties worden gecontroleerd en hoeveel verschil tussen herhaalde LLM-analyses of met menselijke beoordelingen aanvaardbaar is. In de wetenschappelijke literatuur wordt bij kwalitatieve codering vaak 80% overeenstemming tussen beoordelaars als richtlijn gehanteerd. [HALP24] De 90%-grens uit het aangehaalde onderzoek was een casusspecifieke evaluatiegrens en vormt geen algemeen geldende norm uit de NOREA-standaarden. Evenmin garanderen deze drie criteria dat een organisatie de juiste documenten heeft aangeleverd of dat uiteindelijke beleids- of auditconclusies valide zijn.

Zeven beheersmaatregelen voor betrouwbaar LLM-gebruik

Het onderzoek identificeert zeven beheersmaatregelen (safeguards) die bijdragen aan de betrouwbaarheid en controleerbaarheid van LLM-ondersteunde documentanalyse. Deze bieden auditors concrete aanknopingspunten om de inrichting en werking van dergelijke analyses te beoordelen:

S1 – Alleen toegestane bronnen: laat het LLM uitsluitend de voor de analyse beschikbaar gestelde informatie gebruiken. Zo blijft duidelijk waarop het oordeel is gebaseerd.
S2 – Geen ontbrekende informatie invullen: laat het model niet gissen, definities veranderen of passages herschrijven. Wanneer bewijs ontbreekt, moet het dat expliciet kunnen aangeven.
S3 – Vaste beoordelingsregels: dwing toepassing af van de vooraf vastgestelde instructies en het codeboek, zonder dat het model zelf nieuwe classificatieregels toevoegt.
S4 – Bronbewijs bij iedere code: vraag een verifieerbaar citaat en een beknopte onderbouwing voor iedere classificatie; controleer steekproefsgewijs of citaat en oordeel overeenkomen.
S5 – Beperk de omvang van een beoordeling: laat het LLM telkens het kleinste inhoudelijk samenhangende tekstdeel analyseren. Dat vermindert het risico dat verschillende passages elkaar beïnvloeden.
S6 – Scheid de analyses: beoordeel onafhankelijke tekstfragmenten in nieuwe, gescheiden sessies. Het model krijgt zo geen ongewenste informatie uit eerder verwerkte documenten mee.
S7 – Onderzoek instabiliteit: wanneer reproduceerbaarheid ondanks verbeteringen tekortschiet, kan een tweede verwerking van de volledige dataset documenten met afwijkende uitkomsten aanwijzen voor handmatige codering, correctie of mogelijke uitsluiting. Dit is een aanbeveling uit het onderzoek en geen afzonderlijk getoetst resultaat.

Deze maatregelen versterken elkaar. Een broncitaat biedt bijvoorbeeld onvoldoende zekerheid wanneer de classificatieregels onduidelijk zijn. Ook een goed codeboek voorkomt niet dat informatie uit eerder beoordeelde documenten de analyse beïnvloedt.

Conclusie

Het onderzoek toont aan dat LLM-ondersteunde documentanalyse beter beheersbaar en toetsbaar kan worden gemaakt door de onderzoeksvraag vooraf te vertalen naar toetsbare proposities, de verwerking op te delen in afzonderlijk toetsbare stappen en expliciete waarborgen toe te passen.

De methode biedt drie kwaliteitscriteria – reproduceerbaarheid, betrouwbaarheid en traceerbaarheid – waarmee de afzonderlijke analysestappen kunnen worden beoordeeld en de methode iteratief kan worden verbeterd. Zeven safeguards bieden daarbij handvatten om bekende risico's te beperken en afwijkingen gericht aan te pakken. De belangrijkste bijdrage is daarmee een gestructureerde methode waarmee de kwaliteit van LLM-analyses systematisch kan worden getoetst, tekortkomingen kunnen worden opgespoord en waar mogelijk worden voorkomen.

Voor de praktijk van de auditor heeft dit de volgende implicaties:

Als gebruiker: Bij omvangrijke documentreviews kan het LLM passages selecteren, ordenen en classificeren volgens vooraf bepaalde categorieën. De auditor blijft verantwoordelijk voor de kwaliteit en volledigheid van de documenten, de geschiktheid van het classificatiekader, steekproefvalidatie en de uiteindelijke duiding. De methode maakt het mogelijk méér documenten systematisch te beoordelen zonder de traceerbaarheid van de afzonderlijke bevindingen uit het oog te verliezen.
Als beoordelaar: Wanneer organisaties LLM’s inzetten voor klachtenanalyses, incidentclassificatie of compliance-rapportages, kan de auditor onderzoeken of reproduceerbaarheid, betrouwbaarheid en traceerbaarheid aantoonbaar zijn gewaarborgd. Dat kan door de opzet, het bestaan en de werking van de beschreven beheersmaatregelen te beoordelen en uitkomsten steekproefsgewijs opnieuw te analyseren. Aansluiting bij bestaande NOREA-kaders voor AI-assurance blijft nodig: informatiebeveiliging, privacy, volledigheid van brondata, modelgovernance en menselijk toezicht vallen buiten de drie onderzochte coderingscriteria. [NORE21]

Lees het volledige onderzoek

Bovenstaande is een praktijkgerichte samenvatting van het academische paper A Trustworthy LLM-Assisted Qualitative Content Analysis Method [JANS26] van Nard Janssens, Marijn Janssen en Nitesh Bharosa. De volledige methode, evaluatie en beperkingen zijn beschikbaar via https://doi.org/10.1007/978-3-032-38014-2_23.

Bronnen

[CHEW23] Chew, R., Bollenbacher, J., Wenger, M., Speer, J. & Kim, A. LLM-Assisted Content Analysis: Using Large Language Models to Support Deductive Coding. arXiv preprint 2306.14924, 2023. DOI 10.48550/arXiv.2306.14924; Publicatie.
[HALP24] Halpin, S.N. Inter-Coder Agreement in Qualitative Coding: Considerations for Its Use. American Journal of Qualitative Research, vol. 8, nr. 3, pp. 23–43, 2024. DOI 10.29333/ajqr/14887; Publicatie.
[JANS26] Janssens, N., Janssen, M. & Bharosa, N. A Trustworthy LLM-Assisted Qualitative Content Analysis Method. In: Han, S., Li, H. & Pekkola, S. (red.), Work, Life, and Society in a Sustainable, Intelligent Future, Lecture Notes in Computer Science, vol. 16912, pp. 313–325. Springer Nature, 2026, DOI 10.1007/978-3-032-38014-2_23; Publicatie.
[MAYR14] Mayring, P. Qualitative Content Analysis: Theoretical Foundation, Basic Procedures and Software Solution. Klagenfurt, 2014. Publicatie
[NORE21] NOREA. Guiding Principles Trustworthy AI Investigations. Versie 1.1, december 2021. Publicatie
[YIN84] Yin, R.K. Chapter 2: Designing Case Studies. In: Case Study Research – Volume 5. SAGE Publications, 1984. Publicatie

Disclaimer

Bij het opstellen van deze Nederlandstalige samenvatting is gebruikgemaakt van een AI-tool (ChatGPT van OpenAI) ter ondersteuning van structuur en formulering. De inhoudelijke verificatie en definitieve redactie behoren tot de verantwoordelijkheid van de auteur.