Twitterfilter heeft moeite met het herkennen van meningen

“Die automatische filters zijn computerprogramma’s die min of meer werken zoals een spamfilter twintig jaar geleden al werkte. Naïef zou je zeggen: zo’n algoritme heeft het goed of heeft het fout. Maar eigenlijk – en dat is vaak een eyeopener – zijn er vier uitkomsten mogelijk, waarvan er twee goed zijn en twee fout. Het gaat goed bij de berichten die volgens het algoritme en ook volgens de menselijke maat aanstootgevend zijn. Hetzelfde geldt voor berichten die het algoritme terecht goedkeurt. Maar het gaat fout bij vals positieven en vals negatieven. In het eerste geval zegt het algoritme dat het bericht niet op de site hoort terwijl er in feite niks mis mee is; in het tweede geval zegt het algoritme dat er niks aan de hand is, terwijl het wel degelijk aanstootgevend is.”

“Het probleem is dat er geen algoritme bestaat dat het honderd procent goed doet. Meestal scoren ze ergens tussen de 75 en 85 procent. Maar dat getal zegt nog niets over de verdeling van de vals positieven en vals negatieven. Die verdeling kun je zien als een touwtrekwedstrijd. Trek je aan de ene kant, om het aantal vals positieven terug te dringen, dan krijg je een heleboel vals negatieven. Je zult dus voortdurend moeten testen hoe goed je algoritme werkt op beide typen fouten.”

Wat is dan de beste verdeling tussen de twee typen fouten?

“Dat hangt er vanaf wat je wilt. Als je bijvoorbeeld heel veel menselijke moderatoren in dienst hebt, dan hoeft het algoritme niet zo precies te zijn. De menselijke moderatoren keuren dan de onterecht afgekeurde berichten alsnog goed. Je kunt je dan meer vals positieven veroorloven. Maar als het algoritme volledig automatisch werkt, dan wil je wél dat deze heel precies is.”

Waarschijnlijk hebben Twitter en Facebook veel menselijke moderatoren in dienst?

“Absoluut. Maar uiteindelijk is het nooit genoeg. Dus ook daar zullen ze weer een soort evenwicht in moeten vinden. Je moet eerst bepalen wat de moderatieteams aan kunnen. Het controleren van die ‘vlaggetjes’ gaat eigenlijk altijd steekproefsgewijs: je kunt niet alles controleren. Maar moderatie is bijvoorbeeld ook taal- en cultuurafhankelijk. Je zult in Nederland echt mensen moeten hebben die dat voor Nederlandstalige berichten doen. En dan moet er ook altijd een deel van het team zijn dat nazorg levert aan mensen die bezwaar indienen omdat ze geblokkeerd zijn. Ik denk dat deze bedrijven veel tijd steken in die nazorg. Daarmee houd je toch je klantrelaties goed.”

Het lijkt er dus op dat de huidige algoritmes veel vals positieven opleveren: berichten die ten onrechte als aanstootgevend worden aangemerkt. Wat gaat hier taaltechnologisch gezien fout?

“Het is heel moeilijk voor algoritmes om alle nuances van een bewering te detecteren. Dit gebeurt bijvoorbeeld als je iets quote waar je het niet mee eens bent: je gebruikt dan immers wel woorden die in de verboden hoek zitten, naast je eigen inbreng als ‘ik snap niet waarom mensen nog altijd beweren dat…’. Het onterecht wegfilteren van zulke nuance gaat uiteindelijk ten koste van het debat. Elk gezond debat heeft baat bij common ground, gedeelde kennis, anders kan je elkaar niet begrijpen. In het zwartepietdebat is ‘zwarte piet’ een beladen term, maar als we ons in geheimtaal moeten gaan hullen dan is de discussie steeds verder weg. Tegelijkertijd hebben we de filters toch wel nodig, want zonder een vorm van moderatie kunnen discussies totaal ontsporen.”

“Algoritmes hebben moeite met het duiden van wat het betekent als een bewering begint met ‘ik vind’ of ‘ik snap niet waarom’ en woorden die voorzichtigheid uitdrukken zoals ‘misschien’. En dat zijn juist heel belangrijke aanwijzingen dat er iets meer aan de hand is dan dat iemand een scheldpartij aan het opzetten is. De meest geavanceerde algoritmes proberen dat nu wel mee te nemen. Ze kijken sowieso naar woordgroepen en woordcombinaties in plaats van naar individuele woorden, en dus ook steeds vaker naar de relatieve positie van die woorden.”

“Een andere moeilijkheid is de factor tijd. Door de tijd heen komen nieuwe onderwerpen op, of verandert de hoeveelheid aandacht die een bepaald onderwerp krijgt. Je moet die algoritmes dus vaak bijtrainen, want er kan zomaar een beweging ontstaan, een hashtag, een persoon die van de ene op de andere dag beroemd wordt zoals George Floyd. Wat ook nogal eens misgaat is de taalidentificatie, dus in welke taal een bericht is geschreven: hoe korter de boodschap, hoe vaker het misgaat. Neem de woorden in die tweet van Miet Ooms, ‘die Bernie’: op basis van een eigennnaam kun je nog niet beslissen met welke taal je te maken hebt, en het woordje ‘die’ komt in meerdere talen voor met een andere betekenis. Hier heeft het algoritme het Nederlands aangezien voor Engels.”

Kunnen de automatische algoritmes bij het overwinnen van deze problemen naar honderd procent foutloos modereren?

“Dat denk ik niet. Als je dit door verschillende menselijke moderatoren laat doen dan krijg je scores die ook geen honderd procent zijn, omdat er verschil van mening is. En het algoritme is getraind op menselijke data. Het is misschien wel zo dat als je data laat labelen door meerdere mensen en daar weer een discussie overheen laat gaan, die data weer aanbiedt als trainingsmateriaal, dan heb je wel materiaal dat misschien een soort collectieve intelligentie representeert. Misschien kom je op die manier wel ooit uit bij een heel intelligent algoritme.”