Hoe algoritmes ons helpen anders naar de geschiedenis te kijken

Daarnaast nemen computergestuurde robots steeds meer werk van ons over. Meestal gaan dit soort verhalen over techniek en de toekomst: “You won’t believe what AI can do in 2020!” Maar kunnen historici dit soort technieken ook gebruiken om met een andere blik naar het verleden te kijken? En wat de ontwikkelaars van Silicon Valley hier op hun beurt weer van leren?

Kunstmatige intelligentie heeft data nodig om patronen te herkennen. Alles wat wij op het internet, bewust of onbewust, over onszelf vertellen en van onszelf laten zien voedt de algoritmes van grote techbedrijven. Hoewel historische bronnen niet precies hetzelfde zijn als dit soort data – ze zijn immers niet born digital – zorgt de grootschalige digitalisering van historische boeken, kranten en andere archieven ervoor dat er, ook over het verleden, steeds meer data beschikbaar zijn. Data die we kunnen gebruiken om algoritmes te trainen.

Patronen

Sinds het eind van de jaren negentig houdt een relatief nieuw veld, de zogenaamde digital humanities, zich bezig met de vraag hoe we gedigitaliseerde bronnen met behulp van digitale technieken kunnen bestuderen. Tot nu toe richtte dit soort onderzoek zich vooral op tekst. Met behulp van OCR (Optical Character Recognition), dat gescande documenten omzet in digitale tekst, en statistische technieken kunnen we bijvoorbeeld patronen in grote hoeveelheden tekst ontdekken.

Door de introductie van Deep Learning, een bepaald type kunstmatige intelligentie, in computer vision, een veld dat technieken ontwikkelt waarmee computers afbeeldingen kunnen analyseren, is het de laatste paar jaar ook mogelijk geworden om patronen in grote hoeveelheden visuele data te herkennen. Google en Facebook gebruiken dit soort technieken om je bijvoorbeeld te vertellen wie er op je foto’s staan, zonder dat je dit zelf hebt aangegeven, of om je te helpen met het vinden van foto’s van bomen of zonsondergangen.

Voor een historicus die visuele cultuur bestudeert zijn dit soort technieken ontzettend interessant. In tegenstelling tot close reading, het één voor één bestuderen van afbeeldingen, kunnen we algoritmes gebruiken om van een afstandje naar patronen in grote hoeveelheden afbeeldingen te zoeken. Dit wordt ook wel distant viewing genoemd.

Zo onderzocht ik bijvoorbeeld samen met Willem Jan Faber, een onderzoeksprogrammeur bij de Koninklijke Bibliotheek, hoe we computer vision technieken kunnen inzetten om te bekijken wanneer Nederlandse kranten voor het eerst op grote schaal foto’s begonnen te publiceren. Nadat we automatisch 313.000 afbeeldingen uit gedigitaliseerde kranten hadden gehaald, pasten we een neuraal netwerk, een speciaal soort algoritme, toe om deze in te delen in illustraties en foto’s. Afbeelding 1 laat zien dat er aan het begin van de jaren twintig een enorme beeldexplosie plaats vindt en dat er in 1925 voor het eerst meer foto’s dan illustraties in Nederlandse kranten staan. Mijn collega Melvin gebruikte, ook bij de KB, algoritmes om visuele patronen in een grote database van krantenadvertenties te herkennen (afbeelding 2).

Wat programmeurs van historici leren

Historici hebben dus baat bij algoritmes, maar kunnen programmeurs ook iets van historici leren? Ik denk van wel. Programmeurs hebben ervoor gezorgd dat algoritmes goed zijn geworden in het vinden van signalen in visuele data, maar naar welke signalen moeten ze eigenlijk zoeken? Wat is het verschil tussen wat er op een afbeelding staat en de betekenis van een afbeelding? Kunnen we algoritmes ook trainen om de betekenis van een afbeelding te herkennen? Zijn dit soort betekenissen universeel? Kunnen we de betekenis van een beeld achterhalen zonder allerlei tekst, zoals de titel, te bestuderen? Algoritmes kijken, voorlopig, maar op één manier, maar geldt dit ook voor mensen? Zien we hetzelfde? En als wij niet hetzelfde zien, moeten algoritmes dit dan wel doen?

Met dit soort vragen, die steeds relevanter worden voor programmeurs, houden we ons in de humanities al een tijdje bezig. Literair historicus Ted Underwood stelt dan ook dat de geesteswetenschappen, juist in de eeuw van machine learning, onontbeerlijk zijn. Zouden we Google bijvoorbeeld kunnen helpen om hun algoritmes meer culturally diverse te maken? Het bedrijf erkent het gebrek hieraan als een probleem, maar richt zich voor een oplossing vooral op data en techniek. Kort gezegd: het probleem is dat algoritmes nog niet goed genoeg werken of dat ze zijn getraind op witte en Amerikaanse data. Natuurlijk heeft het bedrijf hier voor een deel gelijk, maar is er ook niet een diepere oorzaak? Is het wel zinvol om een universeel algoritme te trainen dat voor alle mensen altijd hetzelfde ziet? Of worden de classificaties van algoritmes betekenisvoller wanneer ze meer als mensen kijken?

Dit probleem komt ook naar voren in het feit dat visuele classificatiesoftware steeds slechter is in het herkennen van de categorie ‘website.’ Veel algoritmes zijn getraind op data van de zogenaamde ImageNet wedstrijd uit 2010. Hoewel er aan katten weinig verandert is, hebben websites een ander visueel jasje gekregen. Dit soort verschillen, die wij nauwelijks opmerken omdat de verandering geleidelijk gaat, zorgen dus nu al, acht jaar na de Deep Learning revolutie, voor problemen: algoritmes zijn bijvoorbeeld minder goed in het herkennen van de categorie ‘websites’.

Wat zouden we doen met 1 miljoen? Wat kunnen historici en programmeurs van elkaar leren? Welke problemen kunnen ze oplossen als ze samenwerken? Geef ons een lab en we laten het zien! Computer Vision biedt ons een nieuwe blik op het visuele verleden. En als we de geschiedenis van visuele cultuur beter begrijpen, leidt dit ongetwijfeld tot betere algoritmes in de toekomst.

Over hun onderzoek bij de KB schreven Melvin en Thomas het artikel “The Visual Digital Turn. Using Neural Networks to Study Historical Images” dat binnenkort verschijnt in Digital Scholarship in the Humanities (OUP)