'Dalende schoolprestaties niet bewezen door gedegen onderzoek'

Diverse media luidden onlangs de noodklok: onderzoek onder 170.000 middelbare scholieren zou uitwijzen dat het cijfergemiddelde én interesse in schoolvakken daalt. Al snel volgde kritiek van wetenschappers. De vraag is of de data uit het onderzoek deze trend ook daadwerkelijk ondersteunen. Bovendien: wat zou dan de reden zijn voor deze dalende interesse en cijfers? Een van deze kritische wetenschappers is socioloog Thijs Bol. “Toen ik de berichten in de media zag, had ik meteen interesse. Ik ben socioloog, dus zodra er onderzoek is met grote resultaten, ben ik wel benieuwd hoe dat in elkaar steekt”, vertelt Bol, die zelf ook onderzoek doet naar educatie.

Allereerst zijn er vraagtekens te zetten bij de partij die het onderzoek uitvoerde. Dat is Qompas, een bedrijf dat onder meer scholieren helpt bij het maken van hun profielkeuze of studiekeuze na de middelbare school. Een commercieel bedrijf dus. Dat wil niet automatisch zeggen dat het onderzoek niet klopt, maar de insteek van zo’n onderzoek is vaak anders dan een wetenschappelijke.

“De vraag is hoe representatief de steekproef is”, zegt Bol. “Om te kunnen onderbouwen dat er daadwerkelijk een trend is in Nederland, is het van belang dat de verschillen in tijd of tussen groepen niet kunnen berusten of toeval of met andere factoren te maken hebben.” Dat is de basis van statistiek: door een willekeurige steekproef wordt de kans op andere verklaringen voor verschillen kleiner. De vraag is of er in dit onderzoek niet al een selectie zat, omdat alleen leerlingen meededen die de profielkeuze-invullijst van Qompas hebben ingevuld.

Boris Eustatia, directeur van Qompas, spreekt de bewering over de steekproef tegen. “De steekproef is zeker wel representatief, als je kijkt naar de spreiding en de hoeveelheid leerlingen. Onze profielkeuze-invullijst is de meest gebruikte methode in Nederland, de scholen komen uit alle provincies.” Eustatia beroept zich dus op de spreiding en hoeveelheid scholen. In de wetenschap zou er idealiter een willekeurige keuze aan scholen zijn gemaakt, dat is hier niet het geval.

Afgezien van de steekproef, roept ook de bewoording in het rapport vragen op. Zo wordt in het rapport beweerd dat ‘het [red] cijfergemiddelde nog nooit zo laag is geweest als afgelopen schooljaar’, terwijl het onderzoek niet verder teruggaat dan het schooljaar 2011/2012. De vraag is dus of de term ‘nog nooit’ terecht is. “Het zou voor de lezer duidelijk moeten zijn dat we het hebben over een periode van acht jaar”, stelt Eustatia “De bewoording is bedoeld om aandacht te vestigen op de verandering.”

Slechtere cijfers?

Dan de slechtere cijfers. Uit het rapport blijkt dat deze gedaald zijn met 0,2 punten. Op zich al niet een heel grote daling, maar belangrijker: het betreft een daling in een specifieke groep, namelijk het cijfer van vwo-jongens. In het rapport is niet te lezen hoe groot de algemene daling van alle leerlingen is. Wel staat er: ‘In de afgelopen acht jaar zijn de cijfers steeds iets slechter geworden.’ Hoe veel ‘steeds iets slechter’ is, wordt niet duidelijk. Er komt nog een volgend probleem met de data bij: hoewel volgens Eustatia de verschillen tussen groepen niet op toeval kunnen berusten vanwege de grote hoeveelheid onderzochte scholieren, wordt in het onderzoeksrapport geen significantieberekening getoond. Dat is een statistische test die moet uitwijzen of de verschillen inderdaad niet op toeval berusten.

Bol noemt nog een paar elementen aan het onderzoek waar hij zijn twijfels bij heeft. Zo klopt het inderdaad dat er ruim 170.000 scholieren onderzocht zijn, maar dat zijn alle leerlingen samen vanaf 2011. In het schooljaar 2018/2019 werden de data van 23062 scholieren gebruikt. Bovendien heeft Bol twijfels bij de manier waarop de daling in interesse werd gemeten: “Er wordt een q-score gebruikt, met een berekening die ik nog nooit eerder ben tegengekomen.” Eustatia staat achter het gebruik van de q-score in het rapport: “Het is wetenschappelijk te verantwoorden, wanneer je kunt uitleggen hoe de q-score tot stand is gekomen. Dat doen wij ook in het rapport. Onze q-score is een eenvoudige manier om de interesse in een vak in een schooljaar in één cijfer uit te drukken.”

Conclusies op basis van data

Bols frustratie ligt uiteindelijk ergens anders dan bij de data. Het frustreert hem hoe de resultaten daarna in de media verschenen. “Kijk, natuurlijk wil een bedrijf aandacht genereren. In dit geval gebeurt dat met onderzoek waarvan de methode onduidelijk is. Het is dan aan de media om daar doorheen te prikken. Een wetenschapsredactie moet dan een wetenschapper bellen en even vragen hoe het zit.” Het is iets dat vaker voorkomt: persberichten die worden overgenomen zonder dat er kritisch naar het onderzoek wordt gekeken. “Het is te begrijpen, journalisten hebben het druk. Maar het zorgt wel voor devaluatie van onderzoek en dat is frustrerend voor wetenschappers die zich jarenlang met dit onderwerp bezighouden.”

Zijn grootste frustratie ligt in de verklaringen die Eustatia desgevraagd aan de NOS gaf, voor de daling in interesse en cijfers. “Hier gaat het echt mis, want het bedrijf heeft helemaal niet onderzocht waarom er een trend zou kunnen optreden. Dus het juiste antwoord op de vraag zou zijn geweest: we weten het niet, dat hebben we niet onderzocht.” Dit doet Eustatia ook, maar daarna noemt hij wel mogelijke redenen: het gebruik van smartphones, het lerarentekort én meer tweeverdieners waardoor kinderen niet meer liefdevol thuis worden opgevangen.

Volgens Bol zijn deze verklaringen hoogst problematisch: “Deze redenen raken aan onderbuikgevoelens, maar zijn onzin zolang ze niet onderbouwd zijn. Als er al sprake is van een trend die minder goede cijfers en lagere interesses laat zien, dan moet gedegen onderzoek uitwijzen wat de mogelijke oorzaken zouden kunnen zijn.” Dat gedegen onderzoek ziet Bol hier niet. “Je ziet dat er het een en ander mis is met de methode, maar het grootste probleem zit echt in de conclusies die gepresenteerd worden. Die kunnen niet getrokken worden op basis van deze data, maar het komt wel in het nieuws. Ik zou het echt vervelend vinden als de politiek zich hier nu zorgen over gaat maken. De reactie moet zijn: deze conclusies worden niet onderbouwd door de data, wij gaan ons met belangrijke dingen bezighouden.”

Eustatia stelt zelf dat hij bijdraagt aan een maatschappelijk debat. “Ik ben niet te beroerd om een mogelijke verklaring te geven als mij dat gevraagd wordt. Het is dan aan de journalist om te beslissen of mijn mening plausibel genoeg is.” Hij benadrukt dat het nagenoeg onmogelijk is om dit soort verklaringen echt te bewijzen: wie om zich heen kijkt, kan volgens hem wel een zinnig antwoord geven. “Wat betreft het smartphonegebruik: het klopt dat smartphones er al eerder waren, maar niet in de hoedanigheid zoals we deze nu kennen. Iedereen is daardoor sneller afgeleid, zeker scholieren in de klas.” Hij besluit dat het hier niet gaat om het bewijzen van een trend, maar de aannemelijkheid van zijn verklaring.