AI-systemen denken vaak in stereotypen, maar ze bedachten die vooroordelen niet zelf. Dat deden wij. Algoritmen zo trainen dat ze vooroordeelvrij zijn, is ontzettend lastig. Diversere datasets en trainingsteams zijn nodig. “Lang niet iedere groep mensen is even goed vertegenwoordigd.”
Algoritmen zijn vaak bevooroordeeld. Ze schrijven bijvoorbeeld opvallend vaak dat een arts een man is, en beeldherkenningssoftware herkent een zwarte vrouw veel minder goed dan een witte man. Of neem Google Translate als voorbeeld. In het Italiaans kan je aan het woord ‘hoogleraar’ zien of de hoogleraar een man of een vrouw is. Un professore is een mannelijke hoogleraar en una professoressa is een vrouwelijke hoogleraar. Als je met Google Translate alleen het woord ‘hoogleraar’, of in het Engels professor, vertaalt naar het Italiaans dan produceert Google altijd het mannelijke professore. Alleen als er in een zin voldoende aanwijzingen zitten dat de hoogleraar een vrouw is, dan selecteert Google de vrouwelijke vorm. Bijvoorbeeld als de voornaam vrouwelijk is, zoals in de Engelse zin Malvina is a professor, dan wordt het Malvina è una professoressa.
Maar als de zin dan weer een beetje verandert, bijvoorbeeld als we willen zeggen dat Malvina niet zomaar een hoogleraar is, maar een full professor (het hoogste senioriteitsniveau onder hoogleraren), dan lijkt Google Translate opeens te denken dat Malvina toch een man is. De zin wordt dan Malvina è professore ordinario.
Hoe kan dit? Malvina Nissim is zelf Italiaanse en hoogleraar Computationele Taalkunde en Maatschappij aan de Rijksuniversiteit Groningen. Zij legt uit dat dit komt doordat Google Translate te weinig bewijs heeft dat er in het Italiaans zoiets bestaat als een vrouwelijke full professor.
In alle data waarmee Google Translate is getraind, komt dit bijna niet voor. En die data komt van ons. Dat zijn teksten op het internet die door mensen zijn geschreven. Google Translate verzint een vooroordeel, zoals dat een full professor altijd een man is, dus niet zelf. De vooroordelen van een algoritme zijn de vooroordelen die door ons zijn gemaakt.
Reflectie
Voor onderzoekers zijn de vooroordelen die algoritmes produceren interessant, aldus Nissim. “Juist omdat de teksten die een AI-systeem als ChatGPT produceert, een reflectie zijn van wat mensen aan tekst maken, kunnen we een vergrootglas leggen op onze vooroordelen en hiervan leren.”
De teksten van ChatGPT zijn een reflectie van wat mensen schrijven.
Freepik“We hebben bijvoorbeeld met behulp van een AI-taalmodel gekeken naar hoe er in het nieuws wordt geschreven over femicide, het opzettelijk doden van vrouwen”, vertelt Nissim. “Het taalmodel dat we voor dit onderzoek gebruikten, was getraind om te ontdekken wie in het nieuws als verantwoordelijke werd gezien bij femicide.” Hieruit bleek dat nieuwsberichten vaak het slachtoffer van femicide medeverantwoordelijk maken, terwijl de dader juist minder verantwoordelijk wordt gemaakt. Dit onderzoeksresultaat is te gebruiken om journalisten en mensen die nieuws lezen of kijken, van dit patroon bewust te maken en hier dus van te leren.
Maar, als we hier niet van leren en als onze vooroordelen juist onderdeel worden van tools die beslissingen maken over mensen – denk aan een systeem dat bepaalt hoe geschikt jij bent voor een baan – is dat volgens Nissim schadelijk. Tessa Verhoef, universitair docent AI en Cognitiewetenschappen aan de Universiteit Leiden, geeft het voorbeeld van een algoritme dat werd ingezet om sollicitanten te selecteren voor de techniekindustrie. Personen in de techniek zijn op dit moment veel vaker man dan vrouw. Om deze reden werden vrouwen door het algoritme ongeschikt geacht voor een baan in deze sector.
Een vooroordeel halen uit een al getraind algoritme is ontzettend lastig. Bij het cv-selectiesysteem werd gekeken of simpelweg het geslacht van het cv halen het algoritme eerlijker maakte. Dat maakte echter weinig uit, want op veel cv’s staan andere aanwijzingen over iemands geslacht, zoals het aanvoerderschap van een vrouwenvolleybalteam of het lidmaatschap van een studentenvereniging voor vrouwen.
Extra bevestiging
Vooroordelen geproduceerd door chatbots, zoals ChatGPT, kunnen zichzelf ook versterken. Als chatbots vooroordelen steeds maar weer opnieuw produceren, en mensen die vooroordelen in hun teksten overnemen, dan is dit voor een chatbot die weer wordt getraind met deze overgenomen teksten extra bevestiging van de vooroordelen. Dan willen jongens in taalmodellen later dus altijd iets met techniek doen en meisjes iets met dieren.
Een manier waarop ontwikkelaars van AI-systemen, zoals ChatGPT, onwenselijke vooroordelen tegen proberen tegen te gaan, is de inzet van mensen om de uitkomsten van het algoritme controleren. Dit is niet ideaal. Nissim legt uit dat het ten eerste heel lastig is om te bepalen welke vooroordelen allemaal onwenselijk zijn en wat het AI-systeem dus niet mag produceren. “Daar is geen lijstje van. En al zou dat er zijn, dan zijn we het er waarschijnlijk lang niet allemaal mee eens.”
“Daarnaast verdwijnt de onderliggende training en het vooroordeel niet uit het algoritme. Ik vroeg ChatGPT bijvoorbeeld om grapjes te maken over vrouwen. De bot reageerde: ‘Nee, dat doe ik niet, want dat zou beledigend zijn.’ Maar toen ik ChatGPT vroeg naar grapjes over mannen, was dat geen enkel probleem. De bot produceerde bovendien grapjes die weliswaar over mannen gingen, maar extreem beledigend waren voor vrouwen. De achteraf ingebouwde controle bleek dus heel makkelijk te omzeilen.”
Denk aan de dataset
Wat werkt dan wel? Een belangrijke manier om eerlijkere algoritmen te krijgen is volgens Verhoef het verbeteren van de data waarmee modellen worden getraind. “Het is op dit moment niet alleen een probleem dat mensen data produceren die bevooroordeeld is, maar het is ook een probleem dat lang niet iedere groep mensen even goed vertegenwoordigd is in veel datasets. Dat kan echt beter.”
Verhoef onderzocht zelf de datasets die worden gebruikt bij het trainen voor modellen die emoties herkennen. “Emotieherkenning is, aldus de papers die erover gaan, in de toekomst te gebruiken in bijvoorbeeld het onderwijs en de zorg. Data die gebruikt worden om emotieherkenningsprogramma’s te trainen, zijn bijvoorbeeld video’s van gezichten, audiofragmenten en zelfs fysiologische maten, zoals de hoeveelheid zweet die mensen produceren.”
“Veel van de personen in de trainingsdatasets waren begin twintigers, waarschijnlijk studenten aan de universiteit. Dit is een probleem, want juist bij emotieherkenning kan iemands leeftijd uitmaken. Je krijgt rimpels, je stem verandert en er zijn ziektes, zoals parkinson, die bijna alleen ouderen treffen. Dit zijn allemaal factoren die invloed hebben op hoe emotie wordt geuit. Juist als je zo’n technologie wilt inzetten in de gezondheidszorg, moet je ervoor zorgen dat dit voor iedereen werkt.” Een belangrijke manier om eerlijkere algoritmen te krijgen is volgens Verhoef dan ook betere datasets, die de mensen voor wie het algoritme moet gaan werken ook beter vertegenwoordigen.
Niet alleen technici
Vertegenwoordiging van diverse groepen is volgens Verhoef ook belangrijk in de teams die AI-systemen ontwikkelen. “Je hebt mensen nodig die zich door ervaring bewust zijn van de vooroordelen die er in een dataset kunnen zitten en de risico’s kennen als je een algoritme voor een bepaald doel, zoals gezichtsherkenning, inzet. Dit is echt op alle niveaus nodig, dus van het selecteren van de data tot de mensen die gebruikerstests doen. Daarnaast moet je, als je een algoritme maakt voor een bepaalde groep, bijvoorbeeld ouderen, deze groep ook betrekken bij de ontwikkeling.”
Ook de expertise van onderzoekers naar AI moet divers zijn volgens Nissim. “We kunnen het bepalen van wat een ethisch of goed algoritme is niet aan de technici overlaten. Wat een algoritme is dat eerlijk handelt, daar zijn we het niet zomaar over eens. In het onderzoek hiernaar moeten we in ieder geval de samenleving meenemen. Daarom moeten we dit niet alleen met technici doen, maar ook met antropologen, filosofen en geschiedkundigen.”
