Bouw je eigen zoekmachine

Welke internetgebruiker herinnert zich AltaVista nog, of Lycos, of Northern Lights? Dat waren zoekmachines in het pre-Google tijdperk. Daarmee kon je zogenaamd dingen opzoeken op het internet, maar ze werkten voor geen meter. Het algoritme dat je een lijst links gaf als je bijvoorbeeld iets wilde weten over kattenvoeding, was zo makkelijk voor de gek te houden, dat allerlei porno- en goksites in de bovenste pagina met links opdoken, en een vloed aan andere links die ook niets met kattenvoeding te maken hadden.

Concurrenten weggevaagd

Toen Larry Page en Sergey Brin hun PageRank-algoritme bedachten en daarmee de zoekmachine Google maakten, werden deze concurrenten weggevaagd. Je hoefde maar één keer te ervaren hoeveel beter Google was, en je probeerde nooit meer wat anders. Zoekmachines die nu nog de concurrentie met Google aangaan, zoals Bing van Microsoft, zijn in wezen allemaal klonen van Google.

Lüke van den Wittenboer geeft in haar profielwerkstuk Zoekmachines. De evolutie en de techniek een helder overzicht van hoe deze vroege zoekmachines werkten. In wezen faalden ze omdat ze het internet beschouwden als een boek, met websites als losse pagina’s. Van dat boek maakten ze een index op basis van trefwoorden. In het begin, toen het internet nog nieuw was en maar een paar miljoen websites telde, werkte dat nog wel enigszins. Maar als je op een zoekterm (trefwoord) als ‘kat’ vijfduizend treffers krijgt, welke moet je dan bovenaan zetten?

Woorddichtheid

In arren moede kozen deze zoekmachines dan de website waar de zoekterm het vaakst voorkwam. Dat is echt de kat op het spek binden, aldus Wittenboer: “Door bijvoorbeeld honderden keren het woord ‘kat’ in witte letters op een witte achtergrond op je site te zetten, kon je gemakkelijk de woorddichtheid op jouw pagina verhogen, zodat je op een relatief simpele manier een hogere positie in de zoekresultaten bemachtigde.”

De uitbaters van de zoekmachines maakten deze chaos nog erger door posities op hun ranglijsten te verkopen aan de hoogst biedende. Van den Wittenboer: “Aan het eind van de jaren negentig was de zoekende internetter eigenlijk weer terug bij af: als zoeker naar bepaalde informatie wist je dat er een enorme hoeveelheid relevante informatie binnen handbereik lag, maar je had geen idee hoe je deze te bereiken.”

De grote omslag kwam dan ook precies op tijd: “Terwijl de doorsnee internetgebruiker liep te vloeken op de zoekmachines, was de student Larry Page op zoek naar een interessant onderwerp voor zijn masterscriptie.” Dit scriptieonderwerp werd ‘de structuur van het wereldwijde web’, en wat het opleverde was: Google, de eerste zoekmachine die het internet niet beschouwt als een boek, maar als een graaf, een wiskundig netwerk van knopen (websites) met verbindingen (hyperlinks) er tussen. Het fameuze PageRank-algoritme rangschikt alle websites (het hele doorzoekbare internet) eerst op basis van de hyperlinks tussen die websites, en selecteert daarna pas op de ingevoerde zoektermen.

Linkstructuur

Het Pagerank algoritme hanteert twee criteria voor hoe belangrijk een webpagina is. Eerst kijkt het naar het aantal webpagina’s dat naar deze pagina linkt, en het maakt een link belangrijker, naarmate deze komt van een belangrijker webpagina. Het gebruik van de linkstructuur om relevante zoekresultaten te verkrijgen, werd pas praktisch mogelijk doordat computers veel sneller geworden waren, en geheugen veel goedkoper. Immers, om het hele internet te ranken, moet je berekeningen uitvoeren op een wiskundig object dat miljarden webpagina’s en nog veel meer links daartussen cijfermatig weergeeft (dat wil zeggen, rekenen aan een matrix met miljarden getallen).

Terecht wijst Van den Wittenboer er daarom op, dat de geniale ingevingen van enkelingen niet het hele verhaal vormen. De fundamentele ideeën bestonden al langer, maar het wachten was op de hardware en infrastructuur die het mogelijk maakten om er ook echt mee aan de slag te gaan.