Handbewegingen belangrijk voor taalbegrip

Je bent in een café met veel lawaai om je heen en je gebaart naar jouw vriend of hij een biertje wil. Tegelijkertijd vormen je lippen de lettergrepen bier-tje? Jouw vriend weet gelijk wat je bedoelt. ‘Rijd jij terug of ik?’ is zijn antwoord, terwijl hij een sturende beweging maakt met zijn handen. Ook deze zin weten je hersenen onmiddellijk te vertalen. Maar hoe belangrijk is daarbij het handgebaar?

Die vraag stelde Linda Drijvers in haar proefschrift dat ze onlangs verdedigde aan de Radboud Universiteit. Haar onderzoek laat zien dat de visuele informatie die we krijgen tijdens het spreken veel bijdraagt aan ons taalbegrip. Dat lijkt misschien vanzelfsprekend, maar toch wordt die visuele component vaak buiten beschouwing gelaten als het om taal gaat. “Denk maar aan een gehoortest”, zegt Drijvers. “Daarbij hoor je piepjes of woorden door een koptelefoon. Maar dat is geen natuurlijke taalsituatie.”

Haardroogkap

Ook in taalonderzoek wordt audiovisuele input vaak uit elkaar getrokken: “Proefpersonen krijgen ofwel lippen te zien die een woord vormen, of een torso met een panty over het gezicht. Ik dacht: dat moet echter kunnen.” Haar eigen proefpersonen liet ze filmpjes zien van een zo natuurlijke mogelijke taalsituatie. De woorden die werden uitgesproken konden ze maar net verstaan, en de lippen en de handgebaren van de spreker waren duidelijk zichtbaar. Die matchten overigens niet altijd met het woord. Het waren allemaal gebaren waarbij je spraak nodig hebt om het te begrijpen. Zoals bijvoorbeeld een veegbeweging langs je zij: dat kan staan voor roeien of een autoriem vastmaken.

In totaal deed ze acht experimenten met gemiddeld dertig proefpersonen. Die kregen filmpjes te zien terwijl hun hersenactiviteit gemeten werd met magneto-encefalografie (MEG). “Stel je voor dat je in een luie campingstoel zit met een heel grote haardroogkap over je hoofd heen”, aldus Drijvers. Anders dan bij een EEG-scan, waarbij je elektroden op je hoofd geplakt krijgt, laat MEG de magnetische velden zien die afkomen van de elektrische stootjes die je hersencellen afvuren. “Met dat apparaat wisten we precies waar en wanneer er iets gebeurde in het brein tijdens het afspelen van de filmpjes. We zagen dus welke hersengebieden actief waren tijdens de taalverwerking.”

Mentaal woordenboek

Tijdens het bekijken van de filmpjes werden de hersengebieden voor zicht en voor beweging in de hoofden van de proefpersonen extra actief. Met een nieuw ontwikkelde methode konden de onderzoekers bovendien zien hoe de informatie als het ware door het brein reist. Zo ontdekten ze dat de informatie uit deze hersengebieden onmiddellijk doorgegeven werd aan de gebieden waar taal wordt verwerkt. Drijvers: “We zagen dat een handbeweging ervoor zorgt dat je sneller een woord op kunt halen uit je mentale woordenboek.” Reactietijdenonderzoek bevestigde dit: woorden werden ook sneller herkend als ze vergezeld gingen van een handgebaar.

Mensen met gehoorschade

Behalve Nederlandse moedertaalsprekers deden er ook Duitse moedertaalsprekers mee aan het onderzoek, die het Nederlands heel goed beheersten. “Bij hen zagen we dezelfde basisprocessen terug. Maar de hersengebieden voor het verwerken van lipbewegingen en het koppelen van de handbeweging aan de spraak waren iets minder actief dan bij de moedertaalsprekers. Blijkbaar hebben zij meer moeite om het spraaksignaal aan de lipbewegingen en handgebaren te koppelen. Ze maken de koppeling overigens wel, maar zijn vooral langzamer.”

In een ander experiment werd eyetracking gebruikt, dat de oogbewegingen van proefpersonen bijhoudt. Daar bleek ook een verschil tussen moedertaalsprekers en niet-moedertaalsprekers. “We zagen dat de laatste groep veel keek naar de handbewegingen, maar er toch net wat minder profijt van had dan de moedertaalsprekers. En die keken vooral vanuit hun ooghoeken.”

Het laat zien dat moedertaalsprekers ontzettend goed zijn in het koppelen van visuele informatie aan het spraaksignaal. Maar mensen die Nederlands als tweede taal leren, hebben ook zeker baat bij die extra informatie. Dat blijkt niet alleen uit dit onderzoek, maar ook uit eerdere studies. Drijvers denkt daarom dat het goed zou zijn als het NT2-onderwijs (Nederlands als tweede taal) nog meer gebruik zou maken van handbewegingen. Maar ook in de communicatie met ouderen en mensen met gehoorschade is het een zeer nuttig hulpmiddel. “Het helpt om ons hiervan bewust te zijn.”