'Onverwachte resultaten houden het spannend'

Zit er in onze hersenen een gebiedje dat actief wordt als iemand een boodschap aan je probeert over te brengen? Een systeem dat communicatieve intentie herkent, ongeacht of je die via spraak of gebaren uit? Dat is de vraag die James Trujillo probeert te beantwoorden in zijn promotieonderzoek, zo vertelde hij dit voorjaar. Voor de zomer maakte de promovendus hiervoor filmpjes waarin bewegingen werden gemaakt mét en zonder communicatieve intentie.

“Voor mijn eerste experiment heb ik in totaal rond de 2500 filmpjes gemaakt, van 31 verschillende taken, zoals het knippen van papier of het opzetten van een zonnebril,” vertelt Trujillo in het Max Planck Instituut in Nijmegen. “De acteurs in de filmpjes vormden twee groepen: de ene groep dacht dat iemand anders meekeek om van hun bewegingen te leren en de andere dacht dat anderen zomaar meekeken, zonder interactie. Beide groepen voerden de taken één keer in het echt uit en één keer als gebaar, in pantomime.”

In dit eerste experiment analyseerde Trujillo zelf de bewegingen die de acteurs in de filmpjes maakten. “Met een infraroodcamera van Kinect kon ik de bewegingen precies registreren en vervolgens vergelijken,” legt de jonge onderzoeker uit. “Hieruit blijkt dat als iemand meekijkt, mensen grotere bewegingen maken, langere pauzes nemen tussen de bewegingen en een hogere pieksnelheid hebben, bijvoorbeeld tijdens het leggen van de strik om een cadeau.” Ook bleek dat de acteurs in de filmpjes mét communicatieve intentie meer oogcontact hadden met de ingebeelde geadresseerde, in dit geval de camera.

Signaleren en herkennen

Dit oogcontact heeft duidelijk een communicatieve functie, zag Trujillo toen hij een selectie van de filmpjes in zijn tweede experiment liet zien aan proefpersonen. “Mensen blijken een communicatieve intentie vooral te herkennen aan het oogcontact, niet aan de bewegingen van de acteur. We vonden geen enkele correlatie tussen de grotere bewegingen en de zekerheid waarmee mensen de intentie van de acteur bepaalden.”

Dat was een verrassing voor de onderzoeker, die daarom besloot een derde experiment uit te voeren. Ditmaal vroeg hij niet naar het herkennen van de communicatieve intentie, maar naar wat de acteur in het filmpje uitbeeldde. “Dat bleken de proefpersonen wel veel sneller te herkennen als de bewegingen duidelijker gearticuleerd waren. Oogcontact speelde hier juist geen rol,” aldus Trujillo. “Blijkbaar dient het oogcontact om het onderlinge contact te signaleren en helpen de grotere bewegingen bij het inhoudelijk herkennen van de boodschap.”

Voor hij alsnog de overstap maakt naar de hersenscanner (‘zeker nog dit jaar’), wil hij deze theorie verder uitpluizen. “De opnames van de Kinect kan ik ook bewerken tot filmpjes met bewegende stokfiguurtjes (zie onderstaand kader), waarin al het oogcontact is weggelaten. Herkennen mensen dan nog steeds een communicatieve intentie?”

Volle agenda

Naast zijn werk als onderzoeker zit Trujillo nog altijd in de ondernemingsraad van de Radboud Universiteit. En sinds dit jaar leidt hij ook elke woensdag werkgroepen bij de bacheloropleiding Psychologie. “Eigenlijk heb ik daar helemaal geen tijd voor, maar ik vind het hartstikke leuk om te doen. Studenten zijn zo enthousiast en nieuwsgierig”, glundert hij. “Bovendien steek ik er ook echt iets van op. Ik leer om op een andere manier kennis over te brengen – via proefjes in plaats van lezingen. En je leert om onverwachte vragen te beantwoorden. Studenten komen soms met de verrassendste vragen.”

De komende maanden zal Trujillo zich dus bepaald niet vervelen. Eerst zijn experiment met de stokfiguurtjes afronden, dan beginnen met het fMRI-experiment opzetten. Ondertussen werken aan zijn eerste publicatie over zijn promotieonderzoek en zijn ideeën op papier zetten over de rol van bewegingen bij het inhoudelijk herkennen van gebaren. En daarnaast ook nog een dag in de week werkgroepen leiden en zijn werk voor de ondernemingsraad. Begin 2017 horen we hoe het hem is vergaan!

Antwoord: Alleen in het tweede filmpje heeft het stokfiguurtje een communicatieve intentie.