Wat kunstmatige intelligentie doet en hoe je uitkomsten toetst

Een chatbot die een antwoord formuleert, een navigatiesysteem dat een route kiest en software die ongewenste e-mail herkent: zulke toepassingen vallen onder kunstmatige intelligentie, maar werken niet allemaal op dezelfde manier. De naam zegt op zichzelf weinig over wat een systeem kan of hoe betrouwbaar het is.

Om een toepassing te beoordelen, helpt het om eerst het doel en de werkwijze te onderscheiden. Daarna kun je mogelijkheden vergelijken, een kleine proef uitvoeren en controleren waar de uitkomst tekortschiet. Dat maakt duidelijk wanneer kunstmatige intelligentie bruikbaar is en wanneer menselijke controle nodig blijft.

Wat valt onder kunstmatige intelligentie?

De term kunstmatige intelligentie, vaak afgekort tot AI, omvat computersystemen die uit invoer een uitkomst afleiden. Die uitkomst kan een voorspelling, aanbeveling, beslissing of nieuwe inhoud zijn. De Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) nam in november 2023 een bijgewerkte definitie aan: daarin kunnen systemen ook inhoud voortbrengen en verschillen ze in hun mate van zelfstandigheid en aanpasbaarheid na ingebruikname. Dat maakt AI geen enkelvoudige techniek of één soort programma. Een toelichting van de OESO op de definitie beschrijft de afbakening.

Een systeem voor beeldherkenning kan bijvoorbeeld een afbeelding indelen in categorieën. Een generatief systeem maakt juist nieuwe tekst, beeld, audio of andere inhoud op basis van een opdracht. Beide verwerken invoer en leveren een uitkomst, maar wat als een goede prestatie geldt, verschilt: bij herkenning telt onder meer of de categorie klopt; bij gegenereerde tekst ook of beweringen controleerbaar zijn en bij de vraag passen.

AI is daarmee niet hetzelfde als menselijk begrip. Een overtuigend geformuleerd antwoord laat niet zien dat het systeem de wereld begrijpt of de feiten heeft geverifieerd. Evenmin betekent het woord intelligentie dat een systeem zelfstandig elk probleem kan oplossen. Kijk naar de afgebakende taak, de informatie die het systeem krijgt en de omstandigheden waarin het is getest.

Welke criteria helpen bij het kiezen?

Begin niet met de vraag welk systeem het slimst lijkt, maar met wat je ermee wilt bereiken. Omschrijf de taak in één zin en bepaal wat een bruikbare uitkomst is. Gaat het om een eerste versie van een tekst, het ordenen van grote hoeveelheden informatie, het herkennen van een patroon of het ondersteunen van een beslissing? Een doel dat meetbaar en begrensd is, maakt vergelijken en controleren eenvoudiger.

Let vervolgens op deze criteria:

• Nauwkeurigheid: hoe vaak geeft het systeem een bruikbaar resultaat voor precies deze taak? Een algemene claim over prestaties zegt weinig zonder informatie over de testgegevens en de omstandigheden.
• Betrouwbaarheid: blijft het resultaat bruikbaar bij andere formuleringen, invoer of momenten? Een eenmalig goed antwoord is geen bewijs van consistente werking.
• Gegevens: welke informatie moet je invoeren, waar komt die vandaan en mag ze voor dit doel worden gebruikt? Controleer ook of gevoelige gegevens buiten de toepassing kunnen blijven.
• Uitlegbaarheid: kun je nagaan waarom een uitkomst is gegeven, of ten minste welke factoren en bronnen eraan hebben bijgedragen? Hoe groter de gevolgen, hoe belangrijker het is dat een uitkomst te onderzoeken is.
• Foutgevolgen: wat gebeurt er als een antwoord onjuist, bevooroordeeld of onvolledig is? Dezelfde fout kan weinig schade veroorzaken in een brainstorm, maar veel meer wanneer een uitkomst direct een besluit beïnvloedt.
• Menselijke controle: wie bekijkt de uitkomst, en kan die persoon fouten herkennen en corrigeren voordat ernaar wordt gehandeld?

Het Amerikaanse National Institute of Standards and Technology (NIST) beschrijft zeven kenmerken die bijdragen aan betrouwbare AI, waaronder geldigheid, veiligheid, beveiliging, uitlegbaarheid, privacy en het beheersen van schadelijke vooringenomenheid. Het raamwerk benadrukt dat het belang van die kenmerken afhangt van de toepassing en dat ze onderling kunnen botsen. De NIST-uitleg over AI-risico’s en betrouwbaarheid biedt dus geen simpel keurmerk: de criteria moeten bij het gebruik passen.

Welke soorten AI passen bij verschillende taken?

Een regelgebaseerd systeem volgt expliciet vastgelegde regels. Dat kan passend zijn als de procedure helder is en uitzonderingen beperkt zijn. Het gedrag is dan vaak gemakkelijker te herleiden tot de ingevoerde regels, maar het systeem kan tekortschieten wanneer situaties afwijken van wat vooraf is beschreven.

Machine learning is een aanpak waarbij een systeem patronen leert uit voorbeelden in plaats van alleen vooraf geschreven regels uit te voeren. Het kan bruikbaar zijn voor classificatie of voorspelling wanneer geschikte gegevens beschikbaar zijn. De kwaliteit hangt mede af van de representativiteit van die voorbeelden: ontbrekende of scheef verdeelde gegevens kunnen leiden tot uitkomsten die bepaalde gevallen minder goed behandelen.

Generatieve AI maakt nieuwe inhoud, zoals tekst of afbeeldingen. Dat kan helpen bij ideeën, samenvattingen of een eerste concept, maar een vloeiend antwoord kan feitelijke fouten bevatten. Een NIST-profiel uit 2024 behandelt risico’s die specifiek samenhangen met generatieve AI, waaronder onjuiste inhoud en overmatig vertrouwen op automatische antwoorden. De NIST-richtlijn voor generatieve AI maakt duidelijk waarom controle nodig blijft.

De grens tussen die categorieën is niet altijd scherp: een toepassing kan technieken combineren. De keuze is daarom niet simpelweg tussen drie losse soorten programma’s. Vergelijk toepassingen op dezelfde afgebakende taak en met dezelfde beoordelingscriteria. Een systeem dat goed is in tekst genereren is niet daardoor ook geschikt om gegevens te beoordelen of een beslissing te nemen.

Ook het woord intelligentie kan meer suggereren dan de techniek laat zien. Bij onderwerpen in de natuurwetenschap kunnen onderzoekers bijvoorbeeld indirecte aanwijzingen gebruiken zonder een verschijnsel rechtstreeks waar te nemen. Dat is iets anders dan een AI-uitkomst als bewijs behandelen. Bij onderzoek naar onzichtbare materie gaat het om waarnemingen en wetenschappelijke interpretatie; een AI-model kan helpen gegevens te analyseren, maar vervangt de onderbouwing niet.

Hoe test je een toepassing stap voor stap?

1. Leg doel en grens vast. Beschrijf welke taak het systeem uitvoert en wat buiten de opdracht valt. Noteer ook wanneer een mens de uitkomst moet beoordelen.
2. Kies voorbeelden die op echt gebruik lijken. Neem niet alleen eenvoudige of gunstige gevallen op. Denk ook aan onvolledige invoer, varianten in formulering en uitzonderingen die in de praktijk kunnen voorkomen.
3. Bepaal vooraf wat telt als goed. Stel criteria vast, zoals feitelijke juistheid, volledigheid, begrijpelijkheid of het aandeel uitkomsten dat nagekeken moet worden. Kies criteria die bij het doel passen.
4. Vergelijk met een alternatief. Kijk hoe dezelfde taak uitpakt met bestaande software, een handmatige werkwijze of een andere AI-toepassing. Zo wordt zichtbaar of de nieuwe aanpak daadwerkelijk iets toevoegt.
5. Beperk risico’s tijdens de proef. Gebruik geen vertrouwelijke gegevens zonder een duidelijke grondslag en controleer of een verkeerde uitkomst gevolgen kan hebben voor iemand. Laat kritieke handelingen niet ongemerkt automatisch uitvoeren.
6. Leg uitkomsten en fouten vast. Noteer welke invoer is getest, wat er misging en hoe vaak controle nodig was. Zo kun je beoordelen of de uitkomst reproduceerbaar is en of aanpassing nodig is.

NIST ordent activiteiten voor AI-risicobeheer in vier functies: besturen, in kaart brengen, meten en beheersen. Dat zijn geen verplichte opeenvolgende stappen, maar invalshoeken die gedurende de levenscyclus terugkomen. Voor een kleine proef betekent dit praktisch: wijs verantwoordelijkheid toe, beschrijf de context, toets de prestaties en spreek af wat er gebeurt bij fouten. De kernfuncties van het NIST-raamwerk helpen om die werkzaamheden niet tot één testmoment te beperken.

Hoe controleer je de uitkomst?

Controleer eerst de onderdelen die je kunt verifiëren. Zijn namen, getallen, data en verwijzingen juist? Bestaat de genoemde bron en ondersteunt die de bewering? Bij een samenvatting: zijn belangrijke nuances of voorwaarden weggelaten? Bij een classificatie: zijn vergelijkbare gevallen op dezelfde manier behandeld? Een antwoord dat logisch klinkt, verdient dezelfde controle als een antwoord dat onzeker overkomt.

Beoordeel daarnaast hoe het systeem reageert op variatie. Stel een vraag op een andere manier of gebruik een tweede voorbeeld uit dezelfde taak. Grote verschillen kunnen erop wijzen dat het resultaat gevoelig is voor de formulering of context. Eén geslaagde controle bewijst niet dat het systeem onder alle omstandigheden betrouwbaar is; daarvoor is herhaald testen nodig met voorbeelden die het beoogde gebruik weerspiegelen.

Houd bij beslissingen met gevolgen een mens verantwoordelijk voor de beoordeling. Die persoon moet voldoende informatie hebben om de uitkomst te controleren en de bevoegdheid om ervan af te wijken. Maak ook duidelijk wanneer het systeem is gebruikt en welke onderdelen onafhankelijk zijn nagekeken. Transparantie alleen garandeert geen juistheid, maar maakt het wel makkelijker om een fout te onderzoeken.

Herhaal controles wanneer de toepassing, de gegevens of de werkwijze verandert. Een systeem kan na een update anders reageren, en een test met oude voorbeelden zegt dan niet automatisch iets over de nieuwe versie. Kunstmatige intelligentie is het bruikbaarst wanneer de taak begrensd is, de prestaties met passende criteria worden getoetst en duidelijk blijft wie verantwoordelijk is voor het gebruik van de uitkomst.