Valkuilen binnen epidemiologisch onderzoek: deel II

In deel 1 van de blog las je een artikel waarin een verband werd genoemd tussen koppen tijdens voetbal en het overlijden aan hersenaandoeningen. Je denkt er misschien niet bij na tijdens een spannend kopduel, maar voor epidemiologen zijn dit interessante vragen. In de praktijk is het vrij lastig om onderscheid te maken tussen een verband en een oorzaak (zoals je kunt lezen in mijn vorige blog).

De parallelle wereld met ‘counterfactuals’ kun je immers niet waarnemen, dus ben je genoodzaakt om daar de beste representatie van te creëren in de onderzoekspopulatie van je studie. De manier waarop de onderzoekspopulatie is opgesteld, bepaalt mede hoe betrouwbaar of valide je resultaten zijn. Om daar een idee van te krijgen, vervolg je weer je dag als neuro-epidemioloog uit deel 1. Nu ben je beter voorbereid dan de vorige keer, veel succes!

Scenario 2: kan ik mijn resultaten wel vertrouwen?

Het is lunchpauze. Twee collega’s van de epidemiologie schuiven gezellig aan in de kantine, terwijl je nog na zit te denken over het artikel dat je vanochtend las. In het artikel over koppen tijdens voetbal en de gevolgen daarvan is enkel een verband aangetoond tussen het koppen tijdens voetbal en de kans op het overlijden aan hersenaandoeningen. Toch ben je niet helemaal overtuigd van de resultaten. Tijdens de lunch vertel je je collega’s uitgebreid over de inhoud en opzet van de studie, in de hoop dat je tot nieuwe inzichten komt.

Betrouwbaarheid en validiteit

Voor een correcte interpretatie van de resultaten van observationeel onderzoek, is het belangrijk om de betrouwbaarheid en validiteit te beoordelen. De betrouwbaarheid van een onderzoek is de mate waarin resultaten consistent blijven, indien je het onderzoek op exact dezelfde manier herhaalt. De validiteit van een onderzoek weerspiegelt in hoeverre we meten waar we daadwerkelijk in geïnteresseerd zijn, zonder fouten te maken. In een onderzoeksetting willen we resultaten die zowel betrouwbaar als valide zijn.

Vergelijk het met penaltyschieten. Wanneer je steeds op een andere manier schiet, maar niet het doel raakt (optie 1), is het resultaat niet betrouwbaar en ook niet valide. Indien je steeds anders schiet, maar daarbij wél het doel raakt (optie 2), is het resultaat niet betrouwbaar, maar wel valide. Als jouw schiettechniek consistent blijft, maar je alsmaar de lat raakt (optie 3), is het resultaat wel betrouwbaar, maar niet valide. Bij een consistente schiettechniek, waarbij je ook het doel raakt, heb je betrouwbare én valide resultaten (optie 4).

Wat validiteit betreft, maken we verder onderscheid tussen ‘interne’ en ‘externe’ validiteit. De externe validiteit van een studie zegt iets over de mate waarin de bevindingen van je onderzoek van toepassing zijn op een grotere groep mensen, dan alleen de geselecteerde studiepopulatie. Je vrouwelijke collega merkt terecht op dat het nog maar de vraag is of bevindingen van dit onderzoek van toepassing zijn op vrouwelijke voetballers. Ze twijfelt dus over de externe validiteit van de studie.

Je mannelijke collega en de schoonmaker daarentegen, hebben het over interne validiteit. Dat is de mate waarin een studie vrij is van vertekeningen (of bias). Je mannelijke collega zegt dat de resultaten vertekend kunnen zijn door een ‘confounder’. Dat betekent dat de associatie tussen een blootstelling (de hersenschade bij het koppen) en de uitkomst (overlijden aan een hersenaandoening) wellicht vertekend is, doordat een andere ziekte (de confounder) beide factoren onafhankelijk beïnvloedt.

Een andere bedreiging voor de interne validiteit is informatiebias. Stel je voor, dat in deze studie familieleden werden gevraagd naar waar de professionele voetballers aan zijn overleden. Dan zou er een variatie kunnen ontstaan in de gegeven antwoorden. Familieleden zouden zich de doodsoorzaak per ongeluk verkeerd of juist niet meer kunnen herinneren. Dit noemen we recall bias, een bijzonder geval van informatiebias.

De interne en externe validiteit van een onderzoek, die niet altijd even scherp zijn afgebakend als in bovenstaande voorbeelden, kunnen er dus toe leiden dat je het effect van een blootstelling onderschat, overschat of omdraait. De opzet van je onderzoek is daarom uitermate belangrijk voor een correcte interpretatie van je bevindingen.

Na een intensieve middag, sluit je je werkdag als neuro-epidemioloog vandaag af. Hopelijk heb je iets meer geleerd over de epidemiologie, het onderscheid tussen verband en oorzaak, hoe causaal onderzoek wordt vormgegeven, over counterfactuals, betrouwbaarheid en de validiteit van een studie!

Op basis van voorgaande literatuur en dit Schotse onderzoek heeft de Engelse voetbalbond besloten om zowel amateurs als professionele voetballers maximaal 10 keer te laten koppen tijdens trainingen. In Nederland gelden zulke regels nog niet. Indien je het leuk vindt om nog eens over de epidemiologische concepten te lezen of horen, danwel geïnteresseerd bent geraakt in het artikel van de NEJM, verwijs ik je naar onderstaande links: