Na de tweede crash van een Boeing 737 MAX in korte tijd, mag dit type toestel niet meer vliegen tot er duidelijkheid is over de oorzaak. Behalve technisch onderzoek, kan ook kansberekening een indicatie geven of er structureel iets mis is met een bepaald type vliegtuig. Maar het blijft altijd ook een kwestie van interpretatie.
Hoe verdacht is het eigenlijk, als twee passagiersvliegtuigen van hetzelfde type met een tussenpoos van krap vijf maanden neerstorten? Kan dat niet ‘gewoon toeval’ zijn? In het geval van de Boeing 737 MAX hebben Canada en de VS inderdaad nog lang vol gehouden dat de twee crashes op zich niet voldoende reden waren om het toestel aan de grond te zetten.
Om over die kans dat het niet meer dan toeval is iets te zeggen, heb je een statistisch model nodig voor het optreden van vliegrampen. Het allersimpelste model is, dat een vliegtuigcrash een puur toevallige gebeurtenis is, blind noodlot dat bij een willekeurige vlucht toeslaat. Dat zal zeker niet het meest realistische model zijn, maar het maakt een paar simpele berekeningen mogelijk.
Blind noodlot?
De kans dat dit blinde noodlot binnen vijf maanden toevallig twee toestellen van hetzelfde type treft, hangt af van welk percentage van alle vluchten met dit type gemaakt wordt, en hoe vaak een vliegtuig van welk type dan ook crasht.
Op de website van de BBC wordt een lijst van alle grote rampen met passagiersvliegtuigen vanaf 1998 bijgehouden. Dat waren er 94 tot en met 2018, ofwel 94/21 = 4,5 per jaar.
Er vlogen begin maart 2019 ongeveer 350 Boeings 737 MAX rond. Het totale aantal grote passagiersvliegtuigen is niet makkelijk nauwkeurig te achterhalen, maar als ruwe schatting hanteren we hier twintigduizend. Dus ruwweg 1 op de 57 toestellen is een 737 MAX. Als we ook nog aannemen dat een toestel van dit type ongeveer net zo veel vluchten per week (of maand) maakt als andere types passagiersvliegtuigen, zou er dus statistisch gezien 4,5/57 = 0,079 keer per jaar een 737 MAX neerstorten, ofwel eens in de ruim twaalf jaar.
Hoe groot is de kans, dat het met deze aannames dan toch puur toevallig twee keer binnen een half jaar gebeurt? Die kans kun je uitrekenen met de Poisson-verdeling, en daar komt uit: 0,000768, ofwel een kans van 1 op 1300. Deze twee crashes binnen een half jaar lijken op het eerste gezicht dus een zeer sterke aanwijzing, dat er met dit type toestel echt iets mis is.
Voorbarig
Toch is deze conclusie voorbarig. Immers, we zijn pas achteraf gaan rekenen, toen we al wisten dat er twee toestellen van het type Boeing 737 MAX zijn neergestort. Als je in het algemeen wilt weten, hoe groot de kans is dat twee toestellen van welk type dan ook bij toeval binnen een half jaar neerstorten, zou je deze berekening voor alle typen afzonderlijk moeten doen en die kansen optellen.
Om het nog steeds heel simpel te houden, doen we alsof er 57 types met elk 350 vliegtuigen over de wereld rondvliegen. Elk van die types heeft dan dezelfde kans van 1 op 1300 om binnen zes maanden twee keer neer te storten, dus de kans dat dit twee toestellen van welk type dan ook overkomt, is 57 op 1300, ofwel 1 op 23.
Wat betekent die kans van 1 op 23 eigenlijk? Intuïtief is namelijk wel duidelijk, dat als je maar lang genoeg wacht, er vroeg of laat altijd wel twee vliegtuigen van hetzelfde type binnen een half jaar neerstorten (naast een heel wat groter aantal individuele crashes).
Het hangt er dus maar helemaal vanaf welk tijdsinterval je bekijkt. De kans dat er in vijf jaar tijd minstens twee toestellen van hetzelfde type binnen zes maanden van elkaar neerstorten is 1 – (22/23)10 = 0,36, ofwel 36%. Als je een tijdsinterval van tien jaar kiest, is die kans 60%, over twintig jaar 80%.
Dat geldt in het algemeen, maar de Boeing 737 MAX is een splinternieuw toestel: de eerste werd in mei 2017 afgeleverd. Ze vliegen dus pas 22 maanden lang over de wereld, en in het begin waren het er veel minder dan 350. Als je dit laatste negeert, is de kans dat er tussen mei 2017 en maart 2019 binnen een half jaar twee Boeings 737 MAX neerstorten 1 – (1299/1300)22/6, ongeveer 1 op 350. Dat maakt het dus heel ongeloofwaardig, dat beide toestellen bij toeval kort na elkaar crashten.
Dit is weer specifiek voor de Boeing 737 MAX; de kans dat er in een tijdsinterval van 22 maanden een willekeurig type twee keer crasht binnen een half jaar is 1 – (22/23)22/6= 0,15 ofwel 15%.
Opeenvolgende crashes
We kunnen hier ook nog op een heel andere manier naar kijken. Na de crash van de Boeing 737 MAX van Lion Air op 29 oktober 2018, is er geen grote crash meer geweest tot 10 maart 2019, toen de Boeing 737 MAX van Ethiopian Airlines neerstortte.
Zoals we hierboven al zagen, is de kans dat bij een willekeurige crash een Boeing 737 MAX neerstort ongeveer 1 op 57. Dan is, gegeven dat er al een Boeing 737 MAX is neergestort, de kans op twee opeenvolgende Boeing 737 MAX crashes 1 op 57. Ook deze berekening suggereert vrij sterk dat er met de Boeing 737 MAX echt iets mis is.
Bovenstaande cijfers zijn niet meer dan een indicatie, vanwege alle simplificerende aannames. Die gaan ook voorbij aan een bijna niet te beantwoorden vraag: wanneer is een nieuw vliegtuig van een nieuw type? De Boeing 737 bestaat al vijftig jaar, en in die tijd zijn allerlei varianten uit de fabriek gerold. In sommige gevallen waren de wijzigingen minimaal, soms ingrijpend. In totaal vliegen er ruim zesduizend Boeings 737 rond. De MAX kreeg heel makkelijk een luchtwaardigheidscertificaat omdat het volgens de fabrikant slechts een variant van de Boeing 737 is.
Stel, je gelooft dat. Kan het dan toeval zijn dat er binnen vijf maanden twee Boeings 737 crashen? Daarvoor hoeven we niet eens te gaan rekenen: in de eerder genoemde lijst met grote vliegrampen in de laatste twintig jaar, zijn vier keer twee Boeings 737 binnen vijf maanden gecrasht (de MAX-crashes niet meegeteld). Tussen september 2006 en mei 2007, in minder dan acht maanden, crashten zelfs drie Boeings 737. In het jaar 2000 crashten binnen drie maanden twee Boeings 737 van hetzelfde subtype, 737-200.
Anderzijds, een type-aanduiding is ook maar een label. Vliegtuigen zijn zulke gecompliceerde machines, dat ook toestellen van hetzelfde type vaak niet exact hetzelfde zijn. Zo is de MAX al onderverdeeld in types MAX 8 en MAX 9. Moet je dat meenemen in de kansberekening?
Afhankelijk van of je allerlei varianten op één hoop veegt of haarkloverig sub-varianten onderscheidt, kun je ongeveer alles wat je wilt uit zo’n kansberekening laten komen. Ook weet je nooit welke relevante informatie je niet meeneemt, als je daarover domweg niet beschikt.
Rekensommen voor moord
Berekeningen als deze, gebaseerd op zeer simpele modellen, zijn bijvoorbeeld gebruikt om Lucia de Berk te beschuldigen van seriemoord: het kon geen toeval zijn dat er zoveel patiënten overleden terwijl zij dienst had (ze werd eerst tot levenslang veroordeeld, maar is jaren later van elke blaam gezuiverd). Ook moeders waarvan meer dan één baby stierf door plotselinge wiegendood zijn op grond van zulke rekensommen veroordeeld voor moord.
Bij beslissingen om een bepaald vliegtuigtype aan de grond te houden, kan je bijna niet voorzichtig genoeg zijn. Dan geven zulke berekeningen een nuttige indicatie, die rampen kan helpen voorkomen. Maar bij rechtszaken kan vertrouwen op te simplistische rekensommen juist menselijke drama’s veroorzaken. Kansberekening in de echte wereld is nooit eenduidig of simpel. Dan kan je misschien maar beter het zekere voor het onzekere nemen en vliegtuigen aan de grond houden totdat je zeker weet wat de ware toedracht is.