Kan een computer afbeeldingen van negentiende-eeuwse treinongelukken vinden?

Sinds kort werk ik aan een tijdelijk onderzoeksproject van zes maanden bij de Koninklijke Bibliotheek in Den Haag. Toen ik op mijn eerste werkdag in de trein zat, moest ik denken aan de eerste keer dat ik een afbeeldingen van een treinongeluk zag in een negentiende-eeuws geïllustreerd nieuwstijdschrift.

Nadat ik me tijdens mijn bachelor vooral had bezig gehouden met de holocaust en ‘genocide studies’, besloot ik in het laatste jaar van mijn master dat ik nog één vak moest kiezen dat hier zo min mogelijk mee te maken had. De titel van de cursus ‘Tijdschriften in de negentiende eeuw’ klonk meer dan ver genoeg verwijderd van mijn interesse – je zou het ook een kleine obsessie kunnen noemen – in de Tweede Wereldoorlog.

Een olifant op de rails

Misschien komt het omdat ik al mijn hele leven een grote fan ben van treinen maar ik denk echt dat de bovenstaande afbeelding uit de Hollandsche Illustratie mijn leven heeft veranderd. Tijdens het vak over negentiende-eeuwse tijdschriften besloot ik onderzoek te doen naar de visuele representatie van treinongelukken in geïllustreerde nieuwstijdschriften, wat uiteindelijk leidde tot een artikel voor TS Tijdschrift voor Tijdschriftstudies. Hiervoor zat ik uren in het bibliotheek door oude nummers te bladeren, op zoek naar ontploffende ketels van stoomtreinen, botsingen en ontsporingen.

Die foto uit de Hollandsche Illustratie zorgde er dus uiteindelijk voor dat ik ben geswitched van genocide studies naar negentiende eeuwse geïllustreerde tijdschriften. Ook voor mijn promotieonderzoek, dat zich richt op de transnationale handel in illustraties van het nieuws in de negentiende eeuw, zat ik regelmatig dagen in het archief.

Op de afbeeldingen aan de rechterzij, een foto en een illustratie van Vladimir Lenin, de eerste leider van de Sovjet-Unie en belangrijke theoreticus van het communisme, is te zien hoe deze afbeeldingen er op pixel niveau allebei anders uit zien. Het zijn deze systematische verschillen die de code van Ge gebruikt om de afbeeldingen in te delen.

Tweede fase: herkennen van categorieën.

In de tweede fase van het project onderzoeken we hoe een combinatie van twee open-source computer vision programma’s (OpenCV/Caffe) gebruikt kunnen worden om de herkenning van gravures en halftones te verbeteren. Ook kijken we of we deze programma’s kunnen gebruiken om halftones en gravures in verschillende categorieën onder te verdelen.

We verwachten dat illustraties van het nieuws, karikaturen, schaakproblemen en weersvoorspellingen allemaal als gravures geclassificeerd worden door de code van Ge. Met behulp van de algoritmes van OpenCV en Caffe zijn we misschien in staat om deze groep gravures verder te splitsen. Deze verschillende categorieën hopen we te gebruiken om allerlei media-historische vragen te beantwoorden. Vanaf wanneer publiceerde Nederlandse kranten bijvoorbeeld politieke karikaturen op grote schaal? Of hoe werden kaarten gebruikt bij verslaggeving over oorlogen?

Hoe kijkt een algoritme naar een treinongeluk?

Computer vision programma’s zijn tegenwoordig in staat om gezichten en allerlei objecten, zoals auto’s of bananen, in foto’s te herkennen. Ik twijfel er echter aan of deze programma’s me ook helpen bij het vinden van afbeeldingen van treinongelukken in negentiende-eeuwse geïllustreerde nieuwstijdschriften. De algoritmes van OpenCV en Caffe zijn vooral ontwikkeld om foto’s en bewegend beeld met een hoge definitie en veel contrast te analyseren.

Dit zorgt ervoor dat ze vaak ‘verkeerd’ kijken naar de afbeeldingen, van een veel lagere kwaliteit, in negentiende-eeuwse kranten en tijdschriften. Terwijl wij, met onze ogen, in staat zijn de overeenkomsten tussen treinongeluk op een korrelige illustratie en een digitale foto te zien, kijken algoritmes op een andere manier en zien ze dus ook iets totaal anders. Ik hoop wel dat mijn project een stap in de goede richting is en we binnenkort ook ontploffende ketels en ontspoorde treinen gemakkelijk met de computer kunnen vinden.