De duistere zijde van online onderzoek

Programmeerfouten, de invloed van TikTokkers en op geld beluste bots. Ze gooien allemaal roet in het eten als je ermee te maken krijgt bij het maken van online onderzoeken. Felicitas en Anne laten je de 5 duistere kanten van online onderzoeken zien.

1. Experimentele controle

Een eerste probleem van online onderzoeken is dat onderzoekers weinig controle hebben over de omstandigheden waarin deelnemers zich bevinden als ze de vragenlijst invullen. Tijdens een onderzoek op locatie, bijvoorbeeld in een speciaal lab van de universiteit, kunnen onderzoekers ervoor zorgen dat de ruimte rustig is en deelnemers niet worden afgeleid. En voorkomen dat deelnemers zichzelf afleiden, bijvoorbeeld door tussendoor op hun telefoons te kijken. Tijdens een online onderzoek hebben de onderzoekers geen zicht op de omstandigheden waarin deelnemers zich bevinden. Wie weet vult de deelnemer de vragenlijst in terwijl ze tegelijkertijd tv kijken, een online spel spelen, door twitter scrollen, of terwijl iemand anders meekijkt. Al deze factoren kunnen een grote invloed hebben op de aandacht die mensen besteden aan het onderzoek, en de antwoorden die zij invullen. De antwoorden van de respondenten zijn dus wellicht minder betrouwbaar, wat de resultaten van het onderzoek mogelijk beïnvloedt. Om te checken of respondenten wel opletten, gebruiken onderzoekers soms ‘fopvragen’, zoals:

• vul bij deze vraag het woord ‘rood’ in
• kies bij deze vraag het antwoord ‘niet mee eens’

Als mensen niet goed opletten, en willekeurige antwoorden invoeren, zien zij deze vragen waarschijnlijk over het hoofd, en vullen hier verkeerde antwoorden in. Onderzoekers kunnen deze onoplettende deelnemers vervolgens makkelijk uit hun dataset halen.

2. Robots

In de zomer van 2018 ontstond er grote paniek op academisch twitter. Steeds meer onderzoekers kregen datasets binnen van online onderzoeken waarbij de resultaten wel heel verdacht waren. Bijvoorbeeld rijen met respondenten die constant hetzelfde antwoord op elke vraag geven. Of deelnemers die bij open vragen helemaal geen antwoord geven, maar vage zinnetjes zoals ‘good survey’ of ‘thank you’ invullen. Dit kan er op wijzen dat je onderzoek niet door mensen, maar door robots is ingevuld. Onderzoekers wisten te achterhalen dat er inderdaad ‘botfarms’ aan het werk waren. Ze vulden vanuit een algoritme antwoorden in op verschillende vragenlijsten, om maar zo veel mogelijk geld in een korte tijd binnen te harken. Het weren van zulke robotinputs is dus een belangrijke stap in het doen van online onderzoek. Dit kan bijvoorbeeld door (het liefst meerdere) fopvragen toe te voegen, open vragen in te zetten, of door gebruik te maken van allombekende ‘Captcha’s’. En verspreid je survey-link niet via twitter of andere socialmediaplatforms, hier worden blijkbaar de meeste bots op je onderzoek geattendeerd.

Wil je weten wat een Captcha is en hoe het werkt? Bekijk dan deze video:

3. TikTokinfluencers

Een belangrijk deel van onderzoek doen is dat de resultaten zo representatief mogelijk zijn voor de doelgroep. Over het algemeen betekent dit dat onderzoekers een zo divers mogelijke groep deelnemers willen hebben. Onderzoekers die hun onderzoek uitzetten via het platform Prolific waren daarom behoorlijk geschrokken toen zij zagen dat het overgrote deel van hun deelnemers bestond uit jonge vrouwen. Wat bleek: een TikTokinfluencer had het Prolificplatform aangeraden aan haar tienduizenden volgers als een makkelijke manier om wat geld bij te verdienen. Haar jonge en overwegend vrouwelijk volgers melden zich vervolgens en masse aan op het platform (volgens Prolific waren er 30,000 nieuwe aanmeldingen) en vulden de vragenlijsten in. Uiteindelijk heeft Prolific onderzoekers een vergoeding aangeboden voor de niet-representatieve onderzoeken, en adviseert onderzoekers nu om gebruik te maken van quota’s. Dit wil zeggen dat er een bepaalde verdeling van sociaal demografische eigenschappen vertegenwoordigt moet zijn in de dataset. Dit zorgt ervoor dat een bepaald onderzoek niet totaal door één groep kan worden overgenomen.

4. Doorgewinterde deelnemers

Een andere belangrijk gevaar van online onderzoeken zijn de zogenoemde ‘doorgewinterde deelnemers’. Vooral op het platform MTurk zijn er deelnemers die zich full-time bezighouden met het invullen van vragenlijsten. Deze deelnemers hebben al snel honderden of zelfs duizenden vragenlijsten gezien, en zich dus bewuster zijn van de ‘trucs’ die onderzoekers soms gebruiken, zoals het experimenteel toewijzen van deelnemers aan verschillende condities, of het gebruik van de fopvragen die we eerder noemden. Deze deelnemers hebben dus niet meer een zekere mate van naïviteit, wat voor sommige onderzoeken een belangrijke aanname is. Zo zijn er bepaalde experimenten die alleen werken als je de ‘truc’ hiervan niet kent. Probeer bijvoorbeeld het onderstaande experiment eens. Als je al weet waar het onderzoek over gaat, ben je niet meer verrast door de uitkomst.

5. Programmeerfouten

Tot dusver hebben we vooral externe factoren besproken als risico’s voor online onderzoekers. Een laatste belangrijke factor is echter de onderzoeker zelf. Online vragenlijsten zijn ook notoir gevoelig voor programmeerfouten. Ben je vergeten een belangrijke vraag in je onderzoek mee te nemen? Zit er een fout in de volgorde van je vragenlijst waardoor respondenten sommige vragen onbedoeld overslaan? Werkt de video niet die je aan je deelnemers wilde laten zien? Pech gehad. Door de hoge snelheid van online onderzoeken, is er vaak geen tijd om zulke foutjes nog te corrigeren. Dit is Felicitas een keer gebeurd: voor haar onderzoek had ze Engelstalige deelnemers nodig, maar was vergeten dit aan te vinken bij Prolific. Toen ze er na een paar minuten erachter kwam, waren al 100 deelnemers aan het experiment begonnen, en kon ze het niet meer stoppen. Dit was een pijnlijke fout, maar het komt vaker voor dan je denkt, zie bijvoorbeeld onderstaande tweets:

Het is dus van groot belang dat je zeker weet dat je online vragenlijst geheel naar behoren werkt. Een slimme strategie is daarom om van tevoren even een pilot te doen, waarbij je je vragenlijst naar slechts een kleine groep mensen stuurt. Zo kun je eventuele fouten er nog uithalen voordat je het naar een grote groep mensen stuurt.

De toekomst van vragenlijstenonderzoeken?

Gaan we in de toekomst steeds meer online onderzoek doen, zoals uit Anne’s eerdere blog blijkt? Of moeten we juist terug naar studies in het lab, die goed gecontroleerd zijn, waar zeker geen robots aan mee doen en waar deelnemers gemotiveerder zijn? Zoals zo vaak in onderzoek is het antwoord ‘it depends’. Online onderzoek biedt veel voordelen, juist voor explorerend onderzoek: je kunt veel deelnemers met verschillende achtergronden bereiken en dus zijn je antwoorden beter te generaliseren dan als je je onderzoek alleen met psychologiestudenten uitvoert. Maar je moet je over de valkuilen goed bewust zijn en ervoor controleren. Psychologie gaat uiteindelijk over mensen, en niet over robots; ervoor zorgen dat ook online onderzoeken een goede representatie geven van hoe en wat mensen denken of doen is daarom een belangrijk doel voor toekomstig onderzoek.