P<0,05: de toverspreuk voor 'wetenschappelijk bewezen'

In elk experiment speelt toeval een rol, vandaar dat de uitkomst nooit zomaar ‘de waarheid’ weergeeft. Als in een zaal 700 mensen stemmen of een erotisch plaatje links of rechts zal verschijnen, en je neemt aan dat ze niets beters hebben dan blind gokken (de nulhypothese), dan zullen gemiddeld – dus als je het experiment heel vaak doet – 350 mensen ‘links’ stemmen, en de rest uiteraard ‘rechts’. Maar in vrijwel elk experiment zal het aantal links-stemmers in feite afwijken van 350.

De staafgrafiek geeft dit weer: de kans op precies 350 links-stemmers is maar 1 op 33 (0,03), 32 op de 33 keer is het meer of minder. Laten we aannemen dat uiteindelijk 382 van 700 mensen ‘links’ stemden (in de foto aan het begin van dit artikel was de stemming nog gaande, maar in totaal stemden minder dan 700 mensen en de echte einduitslag is niet meer te achterhalen). Als je 382 opzoekt op de horizontale as, zie je dat de kans op deze uitslag slechts 0,002 is, 1 op 500. Is dit resultaat significant?

Trek een streep in de grafiek die precies zo ver van de top ligt, dat 95 procent van de resultaten er links van ligt, en 5 procent rechts. Anders gezegd: de oppervlakte onder de grafiek links van de p-lijn is twintig keer zo groot als de oppervlakte links. Dit is het fameuze p < 0,05 criterium. Het resultaat van de stemming, 382 stemmen op ‘links’, ligt rechts van de p-streep, dus het resultaat is significant. Maar wat betekent dit?

Het betekent: gegeven de veronderstelling dat mensen niets beters hebben dan blind gokken, zullen ze minder dan 5 procent van de keren dat dit experiment wordt uitgevoerd, 382 keer of vaker ‘links’ stemmen. In de sociale wetenschappen en bij veel medische experimenten is dit reden om nu de nulhypothese te verwerpen (hoewel die grens van 0,05 ooit vrij willekeurig gekozen is).

In dit geval: blijkbaar kunnen mensen beter dan door blind gokken de toekomst voorspellen. Of ze hebben gewoon een voorkeur voor links, bijvoorbeeld omdat je met lezen aan deze kant begint. Bijna iedereen, ook menige onderzoeker, heeft nu de neiging om te denken, dat dit hetzelfde is als: gegeven deze uitkomst is er minder dan 5 procent kans dat mensen alleen maar blind gokken. Maar dit is helemaal niet hetzelfde; dit is de beruchte prosecutor’s fallacy (de aanklagersdwaling). Zie voor uitleg hiervan het andere kader onder aan dit artikel.

Als je aanneemt dat mensen niet paranormaal begaafd zijn (de nulhypothese) en 382 van 700 mensen voorspellen correct dat een plaatje links vertoond zal worden, dan is de p-waarde van dit resultaat ruimschoots kleiner dan 0,05, namelijk ongeveer 0,01. De conventie is dan, dat je de nulhypothese mag verwerpen. Maar het is heel onduidelijk wat dit betekent voor de kans dat het tegendeel waar is, ‘mensen zijn wel paranormaal begaafd’. Als je de stelling gewoon omdraait (‘gegeven dat minstens 382 van de 700 mensen de goede voorspelling deden, is de kans dat mensen wel paranormaal begaafd zijn 1 – 0,01 = 0,99, ofwel 99 procent’) bega je de prosecutor’s fallacy, de aanklagersdwaling. Die fout is des te groter, naarmate de nulhypothese a priori waarschijnlijker is, dus naarmate het onwaarschijnlijker is dat paranormale begaafdheid echt bestaat.

Stel je voor dat je dit experiment talloze malen doet, met telkens een zaal vol 700 andere mensen, en dat slechts één op de tienduizend zalen echt paranormaal begaafd is (we zijn a priori immers sceptisch). Voor het gemak nemen we ook aan, dat een paranormaal begaafde zaal altijd minstens 382 keer goed voorspelt, dus nooit minder. Er zijn dan vier mogelijkheden:

De a priori aanname is, dat slechts 1 op 10.000 zalen paranormaal is, 9999 zijn dat niet. De kans dat een zaal èn paranormaal is, èn minstens 382 scoort, is 0,0001 × 1, de kans dat deze score wordt behaald door een niet-paranormale zaal is 0,9999 × 0,01 = 0,009999 = 0,009999. In alle overige gevallen scoort de zaal minder dan 382.

Gegeven dat een zaal 382 of hoger scoort, wat is dan de kans dat dit het gevolg is van paranormale begaafdheid? Kijk nog even terug: volgens de prosecutor’s fallacy is die kans 99 procent. Maar in feite heeft de paranormale zaal een veel kleiner aandeel in de totale kans op een score van minstens 382: 0,0001/(0,0001 + 0,009999) = 0,0099… ofwel krap 1 procent. In de overige 99 procent van de gevallen (0,009999/(0,0001+0,009999 = 0,990….) wordt de score van minstens 382 behaald door een niet-paranormale zaal!

Uiteraard is deze verdeling sterk afhankelijk van de a priori aanname, dat slechts 1 op de 10.000 zalen paranormaal begaafd is. Je kunt andere a priori aannames doen, maar het staat buiten kijf, dat je met de prosecutor’s fallacy in ieder geval geen juist antwoord krijgt.

Daarom gaat de Bayesiaanse kansrekening altijd uit van een prior, een aanname over hoe waarschijnlijk je hypothese is, en brengt daarover de resultaten van experimenten in rekening. Over wat een goede prior is valt ook te twisten (want soms weet je daar bijna niks van), maar de Baysiaanse methode vermijdt wel de prosecutor’s fallacy en andere paradoxen van de p-waarde.

Het ondersteunt ook de aloude wijsheid, dat buitengewone claims buitengewoon bewijsmateriaal vereisen. Als je prior heel klein is, zegt een p van rond de 0,05 vrijwel niks.