Om toxische reacties te verwijderen maken veel nieuwsplatforms gebruik van artificiële intelligentie. Maar AI is ook in te zetten om de discussie te verbeteren.
Op een nieuwssite als nu.nl komen dagelijks zo’n 33 duizend reacties binnen. Om al die reacties te controleren is maar een klein aantal moderatoren in dienst, die werken in shifts van twee à drie personen. Ze verwijderen bijvoorbeeld discriminerende of haatdragende en beledigende reacties.
Om de grote hoeveelheid reacties te kunnen verwerken, maken de moderatoren dankbaar gebruik van artificiële intelligentie, die een eerste schifting maakt op basis van woordherkenning. Een reactie met het woord ‘nazi’ erin wordt bijvoorbeeld verwijderd. Computationeel taalkundige Cedric Waterschoot van het Meertens Instituut weet onder welke tijdsdruk de moderatoren van nu.nl moeten presteren. Als AI-onderzoeker werkt hij nauw met hen samen en schuift hij zo nu en dan aan bij de redactie.
Dat mensen op elkaar reageren, wil niet zeggen dat ze ook echt naar elkaar luisteren
Hoewel online discussies een slechte naam hebben – als oorzaak van de polarisatie in de samenleving wordt vaak gewezen naar discussies op sociale media – vindt de onderzoeker de reacties op nu.nl vrij beschaafd. “Ik denk dat het artikel als startpunt van een discussie dat in de hand werkt”, zegt Waterschoot. “De reacties zijn vaak on topic, dus onder een artikel over kerncentrales gaat het echt over kernenergie. Tegelijkertijd heeft een online discussie niet veel gemeen met een face-to-facegesprek. Dat mensen op elkaar reageren, wil niet zeggen dat ze ook echt naar elkaar luisteren.”
Het goede voorbeeld
De onderzoeker denkt dat online discussies nog een stuk beter kunnen. Daarom werkt hij aan een computermodel dat moderatoren helpt om constructieve reacties te herkennen. Door goede reacties boven aan een discussie te plaatsen (of in internetjargon: te pinnen) kun je andere gebruikers het goede voorbeeld geven, is de gedachte. Steeds meer online platforms gebruiken AI op die manier: om goede reacties te stimuleren. De constructiviteitsbot die Waterschoot ontwikkelt, is hier een voorbeeld van. Wat zijn werk lastig maakt, is dat ‘constructiviteit’ niet zo’n éénduidig begrip is. “Constructiviteit betekent voor iedereen iets anders. Een nieuwssite wil misschien zo veel mogelijk reacties, want dat levert hoge bezoekcijfers op, maar een filosoof zal zo’n discussie heel anders waarderen.”
Volgens Waterschoot bestaat ‘constructiviteit’ uit meerdere bouwsteentjes. Het verbeteren van een online discussie ziet hij als het maximaliseren van één specifiek steentje. “Je kunt de participatie verbeteren of ervoor zorgen dat mensen bij het onderwerp blijven en niet te veel afdwalen. Maar sommige dingen blijven lastig. Je kunt er misschien voor zorgen dat mensen meer op elkaar reageren, maar ik denk dat de oppervlakkige manier van communiceren inherent is aan de online context. Er is geen directe verbinding, het is dus niet te vergelijken met face to face.”
Waar Waterschoot ook achter kwam tijdens zijn onderzoek, is dat constructiviteit in elke context anders is. “Onder een artikel over een bekend persoon die is gestorven, wil je graag veel persoonlijke verhalen toelaten, maar onder een artikel over een nieuwe wetenschappelijke ontdekking is dat totaal niet relevant.” Daarom maakt de onderzoeker een computermodel dat de tien meest constructieve reacties kan tonen, en waar de moderator een keuze uit kan maken voor een specifieke context. En omdat constructiviteit een heel subjectief begrip blijkt te zijn, traint hij het model nu op basis van eerdere reacties die al door de moderatoren van nu.nl zijn gemodereerd.
Volgens Cedric Waterschoot bestaat constructiviteit uit meerdere bouwsteentjes
Efraimstochter, CC0 via PixabayInzicht in moderatie
Door het model op die manier te trainen, krijg je inzicht in de manier waarop menselijke moderatoren werken. Zo ontdekte Waterschoot dat het computermodel dikwijls de reacties selecteert van mensen die al vaker zijn gekozen. “Dat is een heel menselijke reactie: dat je onder tijdsdruk de reactie kiest van iemand die je kent en van wie je weet dat hij of zij doorgaans goede reacties geeft. Ik heb met de moderatoren meegekeken en dan zie je hoe snel het gaat. Er is weinig tijd om een overwogen beslissing te nemen.” Ook beschouwde het computermodel lange reacties eerder als constructief dan korte, en ook het aantal likes van een reactie bleek mee te spelen. “Deze pijlers tonen aan dat je constructiviteit eigenlijk in kaart kunt brengen op basis van heel simpele dingen, zonder daarbij echt naar de inhoud te kijken.”
Maar door het model enkel en alleen te trainen op basis van keuzes die menselijke moderatoren maken, neem je ook menselijke fouten mee in het model. Door de patronen van menselijke moderatoren in beeld te brengen, hoopt de onderzoeker dit soort bias in kaart te brengen. “Waar ik naartoe wil werken, is een model dat niet alleen reacties pint van mensen die al vaak gefeatured zijn, maar juist ook van mensen die nog niet zo vaak gereageerd hebben.” Op die manier kun je juist mensen aantrekken die minder vertegenwoordigd zijn op dit soort platforms.
Geen groepsgevoel
Vaak wordt gedacht dat mensen die online discussiëren weinig representatief zijn voor de Nederlandse samenleving. Toch blijkt dat nogal mee te vallen, zegt Waterschoot. Samen met zijn collega’s deed hij een grootschalig onderzoek (5520 deelnemers, representatief voor de Nederlandse bevolking) naar participatie in online discussies. Van deze groep plaatste elf procent in het afgelopen jaar een of meerdere reacties onder nieuwsitems op sociale media of nieuwsplatforms. En dat zijn níet alleen maar witte mannen van middelbare leeftijd. “In reacties onder politiek nieuws is deze groep in de meerderheid, maar niet als het gaat om regionaal nieuws, cultuur en media. Ook zien we dat vrouwen vaker reageren op sociale media en mannen vaker op commentaarplatforms. Dus overal kom je een ander publiek tegen.”
De grootste groep online reageerders was te vinden onder 45- tot 55-jarigen en 65-plussers. Dat het aandeel jongeren laag was, zegt niet veel volgens Waterschoot, omdat jongeren meer aanwezig zijn op plekken die niet meegenomen zijn in dit onderzoek, zoals TikTok. Ook werd gevraagd aan mensen die níet deelnamen aan online discussies, waarom dat zo was. De meest voorkomende reactie was dat mensen er het nut niet van inzien. Ook toxiciteit werd vaker genoemd.
De motivatie voor mensen die wél deelnamen aan online discussies, was vooral dat ze hun mening wilden uiten, of ook wel de andere kant van het verhaal horen. “Maar het is niet zo dat deze mensen in contact willen komen met andere gebruikers”, zegt de onderzoeker. “Er is dus geen groepsgevoel aan verbonden, zoals bij face-to-facecontact. Ook daarom denk ik dat een online discussie echt fundamenteel anders is dan een gesprek in real life.”
