AI-systemen helpen te bepalen of jij bijvoorbeeld wel of niet in aanmerking komt voor een hypotheek. Superhandig, maar begrijpen we de beslissing van de computer wel? En weten we wanneer zo’n AI-systeem het fout heeft? AI moet altijd uitlegbaar zijn en blijven.
Stel: je koopt je eerste huis. Ervan uitgaande dat je geen enorme zak met geld op de plank hebt liggen, moet je eerst bij de bank aankloppen voor een hypotheek. Bij het besluit over het verstrekken van een hypotheek zetten banken soms AI-systemen in als hulpmiddel. Die helpen degenen die over jouw hypotheek gaan, bij het inschatten of jouw aanvraag moet worden goedgekeurd. Hoe weet de bank wanneer zo’n AI-systeem het juist heeft en wanneer niet? Daar is onder meer uitleg voor nodig over waarom het systeem een bepaalde beslissing neemt.
Dat uitleggen van AI-systemen is steeds ingewikkelder geworden. Dit komt doordat AI-systemen zelf steeds ingewikkelder zijn geworden, zegt Martin van den Berg, onderzoeker bij het lectoraat Artificial Intelligence aan de Hogeschool Utrecht. Hoe tekstbot ChatGPT bijvoorbeeld aan het antwoord komt op een vraag die hem wordt gesteld, is nooit precies te achterhalen. ChatGPT is namelijk met zo ontzettend veel data getraind en het model zelf bestaat uit zo enorm veel berekeningen, dat je niet meer kunt reconstrueren hoe ChatGPT is gekomen van al die input naar het precieze antwoord op jouw vraag.
Terughoudend
De reden dat we ChatGPT, maar bijvoorbeeld ook algoritmen die beelden moeten herkennen, zo complex hebben gemaakt, is volgens Van den Berg dat complexe algoritmen het beter doen. Een complex AI-systeem is beter in het herkennen van een gezicht op een foto dan een simpel AI-systeem. “Maar daar betaal je voor in uitlegbaarheid.” De oudere simpele AI-systemen zijn meestal beter uit te leggen. Bij een simpel systeem kun je dus wél achterhalen hoe het model van de data waarmee het is getraind, komt naar de beslissing die het maakt.
Bedrijven in de financiële dienstverlening, zoals bedrijven die leningen verstrekken, zijn volgens Van den Berg dan ook terughoudend bij het inzetten van hele complexe AI-systemen. “Developers bij deze bedrijven moeten hun systemen namelijk niet alleen kunnen uitleggen aan hun eigen management en klanten, maar ook aan toezichthouders.”
“Daarnaast vinden deze bedrijven dat ze hun modellen goed moeten begrijpen om te kunnen nagaan of er ongewenste vooroordelen in zitten”, vervolgt Van den Berg. “Als je niet begrijpt hoe een AI-model precies beslissingen neemt, dan kun je moeilijk detecteren of er beslissingen worden genomen op basis van bijvoorbeeld discriminerende factoren.”
Schatting
De mogelijkheden om heel complexe algoritmen uit te leggen worden wel groter. Van den Berg legt uit dat er nu al manieren zijn waarop je kunt achterhalen welke factoren een grote rol hebben gespeeld bij beslissingen van een complex AI-systeem.
Dat gaat zo: stel dat je een heel complex algoritme hebt dat op basis van enorm veel variabelen – bijvoorbeeld de gemeente waar je woont, je geslacht, je leeftijd, of je wel of niet huisdieren hebt, enzovoort – probeert te schatten hoeveel je per maand verdient. Dan zijn er dus manieren om te achterhalen welke variabelen voor het model het belangrijkst zijn bij het maken van de schatting. Dan kun je bijvoorbeeld achterhalen dat de opleiding die je hebt gevolgd, en je leeftijd voor het algoritme het belangrijkst zijn bij het raden van hoeveel jij verdient.
Als een arts op basis van de uitkomst van een AI-systeem en bijbehorende uitleg een beslissing neemt, is het noodzakelijk dat hij die uitleg ook snapt.
FreepikMaar met alleen een uitleg, heb je nog niet direct een nuttige uitleg. Rianne Conijn, docent en onderzoeker aan de TU Eindhoven, kijkt naar hoe mens en computer beter samen beslissingen kunnen nemen en welke rol uitleg daarin speelt. Het moet volgens Conijn ten eerste duidelijk zijn wat je met de uitleg wilt bereiken. De uitleg die een developer krijgt die probeert om vooroordelen in een AI-systeem te voorkomen, of om de voorspellingen die het AI-systeem maakt te verbeteren, ziet er heel anders uit dan de uitleg voor een arts of docent, die op basis van de uitkomst van een AI-systeem en bijbehorende uitleg een beslissing moet nemen. “Een uitleg kan extreem uitgebreid zijn en heel precies beschrijven hoe het model tot een beslissing is gekomen. Maar als degene die op basis van die uitleg een beslissing moet nemen, de uitleg niet snapt, dan is die toelichting alsnog nutteloos. Een simplificatie is voor niet-developers vaak fijner.”
Cijfers geven
Normale gebruikers blijken ook niet altijd evenveel behoefte te hebben aan een uitleg. Als er veel op het spel staat, zoals bij het wel of niet krijgen van een hypotheek of bij het stellen van een diagnose in het ziekenhuis, is er behoefte aan uitleg, vertelt Conijn. “Ook als studenten worden beoordeeld door een AI-systeem en dus een cijfer krijgen, is daar behoefte aan.”
Maar, zo ondervond Conijn in een experiment, dit hangt wel af van het cijfer en of dit hoger of lager was dan de studenten hadden verwacht. “Als studenten een cijfer kregen voor een opdracht en dat cijfer was een beetje in lijn met wat ze verwachtten, dan hoefden ze eigenlijk niet zoveel uitleg, dan geloofden ze het wel. Als ze juist een hoger cijfer kregen dan ze hadden verwacht, vonden ze dat op zich ook nog niet zo erg, maar als het echt heel veel hoger lag, dan begonnen ze wel vragen te stellen. Alleen op het moment dat het algoritme maar een klein beetje lager cijfer gaf dan de student zelf had verwacht, dan wilden ze echt wel weten wat er aan de hand was.”
Bewust blijven nadenken
In de praktijk zal het cijfer dat een algoritme genereert, eerst naar de docent gaan, die vervolgens zelf het definitieve cijfer bepaalt. Conijn legt uit dat de uitleg daarom goed moet aansluiten op hoe goed het algoritme zelf is. “We willen voorkomen dat docenten blind op een AI-systeem varen. We weten dat algoritmen het niet altijd bij het juiste eind hebben. Het vertrouwen dat bijvoorbeeld de docent heeft in het algoritme, moet passen bij hoe goed het algoritme is. Mensen moeten bewust blijven nadenken.”
“Dat is nog best lastig”, vervolgt Conijn. “We weten dat als de computer heel vaak dezelfde beslissing maakt als wijzelf zouden maken, we dan geneigd zijn om na verloop van tijd steeds minder op te letten en meer op de computer te vertrouwen. We willen dat mensen blijven zien wanneer het AI-systeem niet zo goed werkt. Uitleg over de beslissing kan daarbij helpen. Vooral ook als de uitleg er niet de hele tijd precies hetzelfde uitziet of als mensen er zelf interactief mee aan de slag kunnen.”
Met een kluitje in het riet
Dat er in ieder geval iets van een uitleg beschikbaar is als een algoritme een beslissing neemt over ons, zal in de toekomst steeds vaker voorkomen. Er wordt nu aan Europese wetgeving gewerkt waarin waarschijnlijk komt te staan dat burgers en klanten uitleg moeten kunnen krijgen over hoe een beslissing van een AI-systeem tot stand is gekomen, als deze beslissing een grote impact op hen heeft. “Je ziet ook in de maatschappij dat mensen steeds mondiger worden over algoritmen. Mensen accepteren niet meer dat ze zomaar met een kluitje in het riet worden gestuurd”, aldus Van den Berg.
“Hoe die transparantie eruit moet komen te zien, dat komt waarschijnlijk niet in de wet. Een automatisch gegenereerde uitleg is niet in alle situaties dé oplossing. Als iemand al ontevreden is over een beslissing, dan kan een standaard automatisch gegenereerde uitleg deze ontevredenheid alleen maar groter maken. Ik denk dat je soms beter een goed contactpunt kunt benoemen waar een mens jou op een vriendelijke manier te woord staat en helpt om het specifieke besluit beter te begrijpen.”
