De verborgen partijdigheid in de AD-Haringtest

Half punt hoger

Vollaard onderzocht statistisch de onpartijdigheid van de Haringtest. Hij concludeert dat haringverkopers binnen een straal van 30 kilometer rond Rotterdam onterecht gemiddeld een half punt hoger scoren (op een schaal van 0 tot 10) dan haringverkopers buiten dat gebied.

“Ik kwam op het idee van mijn onderzoek door iemand die ik ken van de viszaak in ons dorp. Die kreeg een slechte beoordeling waar hij het niet mee eens was, en ging in discussie met het keuringsteam. Dat werd iets minder aangenaam, met als gevolg dat hij van de keurmeesters een nul kreeg.” Op de Haringtest is al eerder scherpe kritiek geleverd, en niet alleen door viswinkeliers die slecht scoorden.

Wat meteen opvalt, is dat de top tien telkens voor een groot deel bestaat uit vishandels in Rotterdam en omstreken. In 2016 gold dat voor zeven van de tien, in 2017 voor acht van de tien, terwijl slechts een derde van de 148 bezochte vishandels in de regio Rotterdam zit.

Regio Rotterdam

Op zich bewijst dit nog niets. Het is immers mogelijk, dat de beste haringwinkels werkelijk vooral in de regio Rotterdam zitten. Echter, het AD stelt alle testscores die zijn gebruikt om tot de ranglijst te komen beschikbaar op de website, zodat Vollaard daar zelf mee aan de slag kon.

Vervolgens bepaalt een computerprogramma – in principe door heel veel trial and error – welke acht waardes van de weegfactor gemiddeld de beste overeenkomst geven tussen de volgens het model berekende eindcijfers, en de eindcijfers die het AD geeft. Het model kan de AD-eindcijfers uiteraard niet perfect verklaren, maar wel vrij goed (het verklaart 83 procent van de variantie).

Vervolgens kijk je naar de verschillen tussen de AD-eindcijfers en de model-eindcijfers. Stel – fictief voorbeeld – dat het AD-eindcijfer voor alle haring verkopende supermarkten hoger zou liggen dan het model-eindcijfer, en voor alle haringkarren lager dan het model-eindcijfer. Het zal duidelijk zijn, dat het AD-team dan de supermarkten bevoordeelt.

Partijdig

Op soortgelijke manier concludeert Vollaard, dat het AD-team Rotterdamse haringverkopers voortrekt. Heeft een haringverkoper in de regio Rotterdam hetzelfde model-eindcijfer als een haringverkoper daarbuiten, dan krijgt de Rotterdamse verkoper gemiddeld een half punt extra.

Het weghalen van die halve punt bonus gooit de top tien van 2017 behoorlijk door elkaar. De winnaar zakt naar plaats vijf, en nog maar drie van de tien haringverkopers komen uit de regio Rotterdam. Dat komt mooi overeen met hun getalsmatige aandeel in alle 148 bezochte haringverkopers.

Thuiswedstrijd

Vollaard heeft ook geëxperimenteerd met een ruimere cirkel om Rotterdam. Maar: “Zodra je die grens ruimer trekt dan dertig kilometer, zakt het verschijnsel weg.” De Rotterdamse partijdigheid lijkt dus reëel. Maar waarom zouden de keurmeesters deze regio bevoordelen? Dat hoeft niet eens bewust te gebeuren. Het AD is een Rotterdamse krant, met veel lezers in de eigen regio. Mogelijk spelen Rotterdamse viswinkels voor de keurmeesters op een subtiele manier een thuiswedstrijd.

Minder subtiel zijn beschuldigingen, onder meer door gedupeerde viswinkeliers, dat met name keurmeester Aad Taal aan vriendjespolitiek doet. Taal kent veel visverkopers in de regio Rotterdam persoonlijk. Hij geeft zelfs cursussen hoe je haring moet behandelen, onder meer aan zaken die hij later zelf beoordeelt voor de test.

AD-journalist Paul Hovius, die de haringtest al dertig jaar coördineert en in de krant zet, bekeek het onderzoek ‘met enige verbazing’. “Het AD blijft achter de methodiek staan die wij hanteren voor de Haringtest. Het onderzoek doet aannames waar ik me niet in herken. Zo zitten de prijs en het gewicht van de haring ook in het model, maar die twee gegevens spelen geen enkele rol bij ons eindoordeel voor de plaats op de ranglijst.”

Dit statistische onderzoek doet trouwens geen uitspraak over de eventuele motieven van de keurmeesters; het maakt slechts aannemelijk, dat haringverkopers in de regio Rotterdam minder kritisch beoordeeld worden dan hun collega’s daarbuiten. Hovius gelooft daar niet in: “Ben Vollaard is bij deze uitgenodigd, om bij de Haringtest volgend jaar een dagje mee te lopen.”