Naar de content

De wiskunde van het insectenarmageddon

Hoe hard kan een conclusie uit beperkte data zijn?

Arnout Jaspers voor NEMO Kennislink

De claim dat ruim driekwart van de vliegende biomassa verdwenen is, volgt uit een geavanceerd statistisch model dat is toegepast op zeer incomplete data. Statisticus Peter Grünwald vindt dat op zich prima: “Je moet wat met de data die je hebt.” Maar hij vindt de nadruk op het hoge percentage, van -76,7 procent, en de expliciete suggestie dat het geldt voor alle natuurgebieden van dit type in Duitsland ‘storend’.

20 februari 2018

Internationaal ging een schokgolf door de media, toen onderzoekers van de Nijmeegse Radboud Universiteit in oktober 2017 concludeerden dat driekwart van de vliegende insecten in Duitsland tussen 1989 en 2016 verdwenen was. Kritiek was er van meet af aan ook, zowel op hoe er gemeten is, op de representativiteit voor Duitsland (en ‘dus’ Nederland), als op de statistische verwerking. In dit artikel gaan we dieper in op de twee laatstgenoemde aspecten.

Iedereen is het erover eens dat de metingen door de Krefeldse entomologenvereniging verre van ideaal zijn om een trend in de tijd te meten; daar waren ze ook niet voor bedoeld. Op de meeste locaties is namelijk in 27 jaar maar één seizoen lang met één insectenval de biomassa gemeten, en in de meeste jaren maar op hoogstens drie locaties. Om uit deze schaarse data toch een algemene tijdstrend af te leiden, gebruikte statisticus Caspar Hallmann van de Radboud Universiteit een geavanceerd model.

Proefgedraaid

Dit model probeert de grillige lokale variaties in de biomassa te verklaren met een aantal parameters, zeg maar ‘knoppen’ waar je aan kunt draaien. Het gaat dan bijvoorbeeld om het seizoen (lente/zomer/herfst), het soort landschap, en het weer (temperatuur, windsnelheid, uren zon, et cetera). Omdat je van tevoren niet weet welke parameters er echt toe doen, wordt eerst proefgedraaid met het model om de meest effectieve parameters te vinden.

Dit geoptimaliseerde model verklaart dan een zo groot mogelijk deel van de variaties. Wat overblijft, wordt geacht een combinatie te zijn van onverklaarde ruis en een lange-termijntrend. De aanname in het model is, dat dit een exponentiële trend is – ‘exponentieel’ betekent dat de biomassa met een vast percentage per jaar afneemt, als spaargeld waar een negatieve rente op zit.

Binnen dit raamwerk geeft het model aan dat de vliegende biomassa van 1989 tot 2016 met 76,7 procent is afgenomen. Peter Grünwald, onderzoeker aan het CWI in Amsterdam, tevens hoogleraar statistiek in Leiden, (en niet vooraf betrokken bij dit onderzoek) zegt hierover: “Op zich prima, je moet wat met de data die je beschikbaar hebt. Maar de nadruk op die -76,7 procent en de expliciete suggestie dat het geldt voor alle natuurgebieden van dit type in heel Duitsland, maakt het storend.”

Hoewel het toepassen van zo’n model op zulke onvolledige data ook volgens Grünwald bonafide is, sluit dat selection bias niet uit: “Wat ze vinden is ernstig genoeg om nog beter naar de afname van de biomassa van insecten te kijken. Maar het zou me echt niet verbazen als je met een nieuwe schatting in andere gebieden iets heel anders vindt.”

Grünwald vindt overigens niet dat je dit onderzoek ‘statistisch drijfzand’ (De kop boven het eerste Kennislink-artikel) mag noemen: “We vinden het bewonderenswaardig dat het de onderzoekers toch gelukt is om een redelijk geloofwaardig model te vinden voor zo’n lastige dataset.”

De afname van de vliegende biomassa op de 26 locaties die wel in meer dan één jaar bemonsterd zijn. Op het eerste gezicht geeft dit eenzelfde trend te zien als het veel ingewikkeldere model dat een trend afleidt uit alle locaties (deze 26 locaties + 37 locaties waarop maar in één jaar de biomassa bepaald is). Maar omdat men ervoor koos om juist opnieuw te gaan meten op de locaties waar in 1989 de biomassa een recordhoogte had, zegt dit weinig.

Hallmann e.a., Plos-one

Schaarse data

Een sterk punt van het onderzoek is op het eerste gezicht dat de 26 locaties waar wel vaker dan in één jaar de biomassa is gemeten, ook apart geanalyseerd zijn. Uit die analyse volgt bijna dezelfde armageddontrend: – 76,2%. Maar de beslissing om op sommige plekken opnieuw te gaan meten is pas in 2013 genomen, toen de Krefeldse entomologen een vermoeden kregen dat de biomassa was afgenomen. Voor de onafhankelijkheid van deze analyse is het funest. Ze besloten om opnieuw te gaan meten op alle locaties waarvan ze al wisten dat er in 1989 recordvangsten gedaan waren. Zo bouw je bijna onvermijdelijk een dalende trend in je data in.

Voor een van de kritiekpunten hebben de Radboud-onderzoekers later een tegenargument gegeven. In het eerste jaar van de metingen, 1989, zaten de vallen voller dan ooit daarna. Als dit ene jaar toevallig een exceptioneel goed insectenjaar was, zou dit in onevenredige mate de sterk dalende trend daarna bepalen. Die kritiek woog nog zwaarder, toen uit het doorvlooien van de data bleek, dat in 1989 zes van de acht vallen dicht bij elkaar stonden in hetzelfde natuurgebied. Plaatselijke bevolkingsexplosies van insectenpopulaties komen immers af en toe voor.

Arnout Jaspers voor NEMO Kennislink

Hallmann deed daarom in november een heranalyse zonder de jaren 1989 en 1990 (ook op 1990 was kritiek gekomen, maar dat betrof maar één val). Ook uit die analyse kwam vrijwel exact dezelfde trend: -76,8 procent. Zo’n bijna perfecte replicatie als je flink wat datapunten weglaat is op zich ook weer verbazingwekkend. Hallmanns verklaring was dat 1989 en 1990 exact op de trendlijn liggen, zodat weglating niets uitmaakt.

Later zijn de data ook nog geanalyseerd met weglating van de jaren vanaf 2013. Ook daar kwam ongeveer dezelfde trend uit. Onder beide replicaties ligt weliswaar de aanname dat er een exponentiële trend in de data zit, maar volgens Grünwald is die keuze goed verdedigbaar. Entomoloog en criticus Kees Booij heeft daar wel twijfels bij; in simpele modellen over de groei van een populatie van één of enkele soorten is dit vaak een bruikbare aanname. Maar volgens hem er is geen reden om aan te nemen dat dit ook zou gelden voor biomassa, die uit talloze, sterk verschillende insectensoorten bestaat.

Jezelf omhoog trekken

Het is mogelijk om te testen hoe betrouwbaar het PLoS ONE-resultaat is, door dezelfde data slim meermaals te gebruiken. Daarom adviseerde onderzoeker-in-opleiding (OIO) Judith ter Schure, die samen met Grünwald het artikel in PLoS ONE bekeek, Hallmann om een non-parametric bootstrap op de data toe te passen.

Een bootstrap is de lus aan de achterkant van een laars, waardoor je die makkelijker aan kunt trekken. Bootstrapping is jezelf aan die lussen van de grond omhoog trekken, wat uiteraard onmogelijk is, maar er zijn statistische procedures die daar aan doen denken.

Het PLoS ONE-onderzoek leverde een grafiek op van 96 datapunten (jaar/locatie-combinaties waar een insectenval stond), met een trendlijn erdoor. Als alle punten perfect op de trendlijn liggen – wat in de praktijk natuurlijk nooit voorkomt – is duidelijk, dat diezelfde trendlijn ook door elke selectie van die punten gaat. Maar als elk punt daar een beetje van afwijkt, zal de trendlijn iets verschuiven als je sommige punten weghaalt.

Dit is het principe van de bootstrap: maak een groot aantal keren een selectie uit je datapunten, en bereken telkens de trendlijn. Dat selecteren gaat als volgt: uit de 96 datapunten kies je 96 keer willekeurig een datapunt (met ‘terugleggen’, dus sommige punten worden meer dan eens gekozen, andere helemaal niet). Dit levert een nieuwe set van 96 datapunten op, waarmee je de hele analyse overnieuw doet.

Bootstrap-interval

Voor een volwaardige bootstrap moet je dit honderden keren doen. Dit levert honderden waardes op voor de afname van de biomassa. Sommige zullen heel dicht bij de eerste (-76,7 procent) liggen, andere verder weg. Al die waardes in een grafiek leveren een verdeling op, met een piek van een zekere breedte. Als onderzoeker hoop je dat die piek heel dicht bij de oorspronkelijke waarde ligt, en hoe kleiner de breedte van de piek (het bootstrap-interval), hoe sterker je resultaat. Hallmann en zijn collega’s geven in het PLoS ONE-artikel wel een onzekerheidsmarge voor hun conclusie aan (74.8–78.5 procent), maar die is heel anders berekend, op basis van die ene dataset.

De bootstrap geeft een ‘sanity check’ op hoe robuust je conclusies werkelijk zijn. Grünwald: “Dat soort kleine onzekerheidsmarges (-74.8–78.5 procent) kunnen misleidend zijn – ze hangen sterk af van modelaannames, en als je model wrong but useful is, (zoals meestal) kan de grootte van zo’n geloofwaardigheidsinterval flink onderschat worden, en de betrouwbaarheid dus overschat.”

Hallmann erkende desgevraagd het nut van zo’n bootstrap, maar gaf aan dat deze, vanwege het gecompliceerde statistische model, zeer veel computertijd zou vergen; eigenlijk is dit een klus voor een supercomputer. Maar dit zijn drukbezette apparaten, waarop je niet zomaar even een paar dagen kan gaan rekenen.

En daar bleef het helaas bij. Op het voorstel, om dan maar een pilot-bootstrap te doen met slechts een stuk of twintig herhalingen – wat op een gewone laptop enige dagen duurt – reageerde Hallmann niet meer. Ook een mail van mij aan Hallmann om te vragen wat hij van deze robuustheidstest vond, bleef onbeantwoord.

Voltooid

Hadden de Radboud-onderzoekers deze robuustheidstest al moeten doen voordat ze het artikel aan PLoS ONE aanboden? Daarover kun je twisten. Zodra het artikel de peerreview gepasseerd is, mogen ze hun werk als voltooid beschouwen; anderen moeten dan maar vervolgonderzoek gaan doen. Ook valt er op de transparantie van de Radboud-onderzoekers niets aan te merken: de data, het model en de gebruikte software zijn openbaar, dus in principe kan iedereen ermee aan de slag.

Maar wie gaat die bootstrap alsnog doen? Zo’n hertest levert geen nieuwe wetenschappelijke publicatie op, dus geen carrièrepunten, en zeker geen persbericht dat als een lopend vuurtje de wereld rondgaat. Maar Ter Schure, die ervaring heeft met het bootstrappen van dit type ecologische data, schat dat het bootstrap-interval best heel wat breder kan zijn dan de 74.8–78.5 procent die de onderzoekers zelf aangeven.

Zowel Grünwald als Ter Schure geloven overigens wel, dat de data een reële daling in biomassa te zien geven, maar volgens hen is niet goed te zeggen binnen welke marge dit percentage ligt. En dit laat onverlet dat de data zich beperken tot twee relatief kleine gebieden waarvan niemand weet hoe representatief ze zijn voor heel Duitsland.

Stel dat de Radboud Universiteit in oktober 2017 een persbericht had uitgebracht, met als boodschap dat Krefeldse entomologen in enkele natuurgebieden in NordRhein-Westfalen en Brandenburg een afname van de vliegende biomassa met de helft of meer hebben geconstateerd. Zou een internationale krant als The Guardian dan ook hebben geroepen dat er een ecologisch armageddon gaande is dat al het leven op aarde bedreigt?

ReactiesReageer