Statistiek bedrijven met één proefpersoon

Gouden standaard

Een van de dingen die echte geneeskunde onderscheidt van kwakzalverij en ‘alternatieve’ geneeskunde, is dat behandelingen volgens gestandaardiseerde methodes getest moeten worden om erkenning te krijgen. De gouden standaard voor erkenning is de randomized, double-blind, placebo controlled trial.

Deze houdt in dat je een grote groep patiënten op basis van toeval (randomized) in twee ongeveer even grote groepen verdeelt. De ene groep krijgt de behandeling of het geneesmiddel dat getest moet worden, de andere groep krijgt een placebo, een nepmiddel. Essentieel is dat noch de proefpersonen, noch de behandelend artsen weten wie het placebo krijgt, en wie het medicijn (double blind). Een veel voorkomende variant is dat een nieuwe behandeling vergeleken wordt met een al erkende behandeling, dus niet met een placebo, omdat het onaanvaardbaar kan zijn om ernstig zieke patiënten een middel te geven waarvan je al weet dat het niet werkt.

Na een vooraf vastgelegde behandelingsperiode wordt gemeten welke patiënten er nu beter aan toe zijn, en welke niet. Als er voldoende verschil is tussen de twee groepen, luidt de conclusie dat de behandeling werkt (of, als het verschil de verkeerde kant op wijst, dat de behandeling juist schadelijk is – ook dat komt voor). Maar wanneer is het verschil tussen de twee groepen voldoende?

Duizenden proefpersonen

Dat hangt van diverse factoren af, maar in het algemeen geldt: hoe kleiner het verschil in behandelingsresultaat tussen de twee groepen, hoe groter die groepen moeten zijn om een betrouwbare uitspraak te kunnen doen. Als een behandeling maar een klein verschil maakt – bijvoorbeeld: een gemiddeld iets langere levensduur voor kankerpatiënten – kunnen duizenden proefpersonen nodig zijn om enigszins betrouwbaar te beslissen of deze behandeling doet wat hij belooft. Dan ben je met zo’n trial al gauw jaren bezig en dat kost miljoenen euro’s.

De statistiek die hier wordt toegepast heet frequentistisch, en dit is in de geneeskunde verreweg de meest gebruikte benadering. Heel kort door de bocht geformuleerd: je gooit de data van elk van beide groepen in een bak en gaat die turven en middelen. De uitslag van zo’n test is voor niet-specialisten echter behoorlijk verwarrend. Formeel levert zo’n test namelijk niet meer op dan een p-waarde, bijvoorbeeld p=0,01. Dit betekent: de kans dat het geconstateerde verschil tussen de twee groepen proefpersonen slechts een toevallige uitschieter is, is 0,01, ofwel 1 procent.

Verwarrende p-waarde

Bij een p-waarde van 0,05 of kleiner is de gebruikelijke conclusie ‘dit is geen toeval’, en gaat men ervan uit dat de behandeling werkt. Maar dit is niet meer dan een wel/niet-uitspraak. Helpt dit nieuwe medicijn heel goed, of maar een beetje, en hoe zeker zijn we daarvan? Formeel zegt de p-waarde daar niets over. Een zeer lage p-waarde betekent niet per se dat een behandeling met grote zekerheid heel goed werkt, en het tegendeel geldt evenmin.

Een alternatief voor deze frequentistische statistiek is de Bayesiaanse statistiek. Net zo kort door de bocht geformuleerd: je doet vooraf een aanname over de kans dat de behandeling werkt, en elk snippertje informatie uit het onderzoek, per patiënt en per gebeurtenis, stelt die aanname naar boven of naar beneden bij. Als je aan het eind van de test alle informatie verwerkt hebt, kom je uit op een nieuwe, veel beter onderbouwde kans dat de behandeling werkt. Dat geeft ook de optie om voor slechts een deel van de patiënten, of zelfs maar één patiënt, die kans te berekenen.

Het heikele punt van de Bayesiaanse benadering is altijd de aanname vooraf: wat valt er voor zinnigs te zeggen over de kans dat een medicijn werkt, als het medicijn nog niet getest is? Ook daar valt wel een mouw aan te passen: je kunt de hele analyse meermaals doen, met heel verschillende aannames vooraf, en dan kijken hoe ‘gevoelig’ de eindconclusie is voor die aanname.
(In dit artikel op NEMO Kennislink vind je achtergrondinformatie over Bayesiaanse statistiek)

Kiezen is niet nodig

In het recente verleden kwamen ‘frequentisten’ en ‘Bayesianen’ nogal eens tegenover elkaar te staan, alsof het een kwestie was van goede en foute statistiek. Daarover schreven twee medisch statistici, Roger Lewis en Derek Angus, in december 2018 een commentaar in JAMA: ‘Dit is geen kwestie van frequentistisch versus Bayesiaans conclusies trekken; het is niet nodig om te kiezen.’

Zij hadden het in dit geval over een trial met een experimentele behandeling voor ernstige ademhalingsproblemen. Volgens de frequentische benadering leverde die nieuwe behandeling geen significant voordeel op, p was groter dan 0,05. Maar een Bayesiaanse heranalyse detecteerde wel degelijk een, weliswaar klein, voordeel voor de patiënt.