Altijd de beste soundtrack bij je homevideo

Passende muziek kan de zeggingskracht van bewegend beeld enorm vergroten, dat weten regisseurs al sinds de stomme film. Maar voor iemand die een filmpje uploadt naar YouTube, is het maken van een eigen soundtrack meestal veel te bewerkelijk.

Misschien is dat over een paar jaar ook niet meer nodig, dankzij een door Cynthia Liem ontwikkeld systeem, MuseSync. Het idee is, dat je bij het filmpje een beschrijving in je eigen woorden voegt van wat er gebeurt, en een paar trefwoorden voor de sfeer. Beter nog: je kunt erbij vertellen wat je had willen filmen, maar wat niet zo best gelukt is. YouTube zoekt dan met MuseSync automatisch een soundtrack bij je filmpje die het beeld ondersteunt en zelf een deel van het verhaal vertelt.

Op maat gemaakte soundtrack

De muziek kan bijvoorbeeld een dreigend crescendo laten horen naar het dramatische hoogtepunt toe (dat zelf vrijwel niet in beeld is omdat je in de stress je smartphone te snel beweegt). Of je kan de muziek duidelijk laten maken, dat een op het oog schokkende scène in feite een grap is.

Cynthia Liem beschrijft MuseSync en een aantal gerelateerde experimenten in haar proefschrift, waarop ze eind vorig jaar aan de TU Delft promoveerde. MuseSync is het voorlopige antwoord op een Grand Challenge van Google (zie kader). Het is geen toeval dat Liem die in haar onderzoek oppakte, want ze heeft al een tijdje gewerkt bij de internet-gigant in Silicon Valley. Google kan enorme bedragen in onderzoek steken, en staat ook niet te boek als gierig voor zijn werknemers. Cynthia Liem: “Die bedragen zijn astronomisch. Ik verdiende als stagiaire bij Google veel meer dan hier als universitair docent.”

Een complicatie is echter, dat het niet toegestaan is om die songs of soundtracks zelf te gebruiken, vanwege het copyright. Daarom gebruikt MuseSync een verzameling van ruim duizend copyright-vrije muziekstukken, die, opnieuw op basis van trefwoorden, het beste overeen komen met deze selectie.

Vervolgens wordt uit deze brede selectie een top-3 gemaakt, door te berekenen in hoeverre het geluid en het beeld van het filmpje synchroon lopen. Ook dat gebeurt automatisch: zowel in de muziek als in het filmpje spoort het systeem de momenten op met de snelste veranderingen in respectievelijk geluid en beeld, en probeert die, simpelweg door schuiven met de begintijd, zo goed mogelijk te matchen. Hoe beter de matching, hoe hoger het muziekfragment in de top-3 komt.

Van een symfonie waarvan veel digitale opnames beschikbaar zijn, Beethovens Eroica, maakte ze spectrogrammen: van een en hetzelfde fragment in alle uitvoeringen, wordt op elk moment bepaald welke toonhoogtes geluid aanwezig zijn. Na een voorbewerking om de fragmenten gelijk te trekken (het tempo varieert immers per uitvoering), berekent PCA uit al deze spectrogrammen een serie principal components, een soort archetypen van het muziekfragment, waaruit je alle individuele fragmenten opgebouwd kunt denken.

PCA wordt bijvoorbeeld ook gebruikt in automatische gezichtsherkenning: van veraf, of op een wazige foto, lijken alle gezichten op elkaar (eerste component), als je wat beter kijkt zie je globale verschillen tussen gezichten (tweede component) en van heel dichtbij vallen ook de verschillen tussen diverse oorlelletjes en neusvleugels op (derde component). In de praktijk heeft het zelden zin om de vierde of hogere componenten te bekijken, omdat die vooral door irrelevante details bepaald worden.

Als je met PCA hetzelfde fragment van een muziekstuk vergelijkt, uitgevoerd door verschillende orkesten, of door hetzelfde orkest met verschillende dirigenten, zie je in de eerste component weinig verschil. Deze vertegenwoordigt een soort grootste gemene deler van alle uitvoeringen. Maar in de tweede en derde component geven verschillende uitvoeringen allemaal een verschillende ‘vingerafdruk’.

Informatica-walhalla

De scores op de tweede en derde component van elk spectrogram kun je horizontaal en verticaal in een grafiek zetten, en zo krijg je een landkaart van de uitvoeringen van de Eroica, waar sommige orkesten en sommige dirigenten duidelijk een eigen gebied bezetten. Zelfs twee uitvoeringen door hetzelfde orkest onder dezelfde dirigent vallen niet samen. Zo ontdekte Liem, dat twee opnames van uitvoeringen van de Eroica door het Chamber Orchestra of Europe onder leiding van Harnoncourt vrijwel zeker twee kopieën van dezelfde opname zijn.

Liem verwacht niet dat dirigenten nu spectrogrammen van hun eigen orkest gaan bestuderen om tot betere uitvoeringen te komen. De PCA-techniek zal vooral nuttig zijn voor automatisch zoeken en herkennen van muziek in grote databases en op internet.

Nu het promotieonderzoek in Delft is afgerond, lonkt misschien toch weer het informatica-walhalla aan de westkust van de Verenigde Staten? “Er werd door Google wel aan me getrokken,” zegt Liem, “maar het culturele leven in Silicon Valley is niet zodanig, dat ik daar dezelfde mogelijkheden zag als in Nederland om me ook als pianiste verder te ontwikkelen.”