De revolutie van online vragenlijsten

Psychologen onderzoeken alles wat met mensen te maken heeft; gedachtepatronen, emoties, gedrag, relaties tussen mensen, of interculturele verschillen, om maar wat te noemen. Vaak willen we weten hoe bijvoorbeeld meningen, emoties, en gedrag zich tot elkaar verhouden. Eten empathische mensen bijvoorbeeld minder vlees? Zijn mensen die minder op Facebook zitten gelukkiger? Geloven neurotische mensen vaker in complottheorieën?

Betrouwbare onderzoeksresultaten

Klinkt eenvoudig, maar aan hoeveel mensen moeten we onze vragenlijst dan voorleggen? Intuïtief voel je vast wel aan dat ons resultaat niet zo betrouwbaar is als we slechts een handjevol mensen ondervragen. Enig verband tussen bijvoorbeeld persoonlijkheid en geloof in complottheorieën kan dan ook toeval zijn. In de regel geldt, hoe meer mensen je ondervraagt, hoe betrouwbaarder je onderzoeksresultaten. Om een uitspraak over iets te doen, heb je al snel tientallen tot honderden mensen nodig hebben om je vragenlijst in te vullen. Maar waar haal je die vandaan?

Een van de oplossingen voor dit probleem is je onderzoek uit te zetten onder eerstejaarsstudenten psychologie. De gemiddelde bachelor psychologie in Nederland heeft elk jaar zo’n 500 nieuwe studenten, dus participanten genoeg. Bij veel universiteiten moeten de eerstejaarsstudenten zelfs verplicht een bepaald aantal uren meewerken aan onderzoeken van hogerejaarsstudenten en stafleden.

Helaas zijn eerstejaarsstudenten psychologie niet bepaald representatief voor onze maatschappij, laat staan de hele wereld. Niet iedereen is immers 18 jaar oud, westers, hoogopgeleid, en (overwegend) vrouw. Het overmatige gebruik van (westerse) studenten in psychologische onderzoeken geldt nu ook als een groot kritiekpunt van de psychologische literatuur. Hoe weten we of onderzoeksresultaten zich ook vertalen naar de rest van de wereld?

Tijdrovend

Natuurlijk zijn er andere manieren om aan een meer representatieve steekproef te komen. Bijvoorbeeld door huis aan huis te gaan, mensen te interviewen op drukke plekken zoals winkelcentra, of door je vragenlijst naar willekeurige adressen te sturen en te hopen op een antwoord. Zulke strategieën zijn alleen arbeidsintensief en tijdrovend. Zelf reed ik bijvoorbeeld tijdens mijn bachelor psychologie met een huurauto door allerlei kleine dorpen in de provincie Groningen om bewoners vragenlijsten over aardbevingen te laten invullen. Met dit proces waren we weken bezig.

Als introverte onderzoeker vond ik het ook best moeilijk om bij willekeurige mensen aan te bellen om te vragen of ze mee wilden doen aan een vragenlijstonderzoek (sommige mensen waren enthousiast, soms krijg je een deur in je gezicht gegooid). Daarnaast hadden we uiteindelijk dozen vol papieren vragenlijsten die we vervolgens ook nog met de hand in de computer moesten invoeren.

Met de opkomst van het internet is het doen van onderzoek plotseling veel makkelijker. Een vragenlijst zet je zo online op Facebook, LinkedIN, of grote internetfora zoals Reddit, waar honderden mensen ‘m in een oogwenk bekijken. Op online diensten zoals Amazon Mturk, Prolific, en het Nederlandse Thesistools ‘huur’ je tegen een kleine betaling zelfs respondenten in om je vragenlijst in te vullen. Dit gaat heel eenvoudig: je geeft aan hoeveel respondenten je nodig hebt, je stelt een bedrag in wat respondenten per persoon ontvangen, en ze zetten je vragenlijst op de betreffende website online.

Gebruikers van deze websites zien vervolgens je opdracht en drukken op accepteren. Ze worden dan omgeleid naar de online omgeving waarin jij je vragenlijst hebt geprogrammeerd (bijvoorbeeld Qualtrics of Surveymonkey). Na het invullen van de vragenlijst komen de respondenten weer terug op de hoofdwebsite, en heb jij een nieuwe regel in je dataset. Het is dan aan jou om het werk van respondenten goed of af te keuren, wat bepaalt of de respondenten hun beloofde betaling krijgen.

Razendsnelle resultaten

Ik gebruikte bijvoorbeeld zelf MTurk om een vragenlijst over hoe mensen nadenken over klimaatverandering uit te zetten. Dit proces gaat razendsnel. In een etmaal ontvang je de antwoorden van honderden tot zelfs duizenden respondenten. Het is dan ook niet verrassend dat het gebruik van online platforms om data te verzamelen een vogelvlucht nam in de wetenschappelijke literatuur. In de tijdschriften Cognition, Cognitive Psychology, en Cognitive Science bestonden in 2017 al respectievelijk 24%, 29%, en 31% van de artikelen uit onderzoeken gebaseerd op data die verzameld was via MTurk of vergelijkbare diensten In het tijdschrift Journal of Consumer Research was dit in 2015 zelfs al 43%.

Met online diensten doe je ook veel meer dan alleen een simpele vragenlijst uitzetten. Zo is het bijvoorbeeld ook mogelijk dat respondenten video’s zien of geluidsfragmenten horen en economische ‘games’ spelen. Ook kun je hun muisbewegingen volgen, bijhouden of ze op bepaalde links klikken, of hen zelf foto’s laten uploaden. Ook is het mogelijk om dezelfde mensen over een langere periode te volgen om inzicht te krijgen in hoe bepaalde processen zich over de tijd ontwikkelen. Online diensten gebruik je ook om specifieke doelgroepen te vinden die anders moeilijk te bereiken zijn. Denk bijvoorbeeld aan zwangere vrouwen die roken, mensen met een gokprobleem, of werkelozen.

Het is niet overdreven om te zeggen dat de mogelijkheid om online respondenten te verzamelen een ware revolutie in psychologisch onderzoek betekent. Het grote voordeel van online onderzoek is de snelheid waarmee je data verzamelt, en het feit dat de steekproef representatiever is dan een groep eerstejaars psychologiestudenten. Maar er kleven ook nadelen en grote valkuilen aan online onderzoek. Zo moet je opletten dat robots je vragenlijst niet invullen. Of dat TikTok influencers per ongeluk je onderzoek verpesten. Dit en meer bespreek ik in de volgende blog in detail!