De proefpersonen van Shruti Ullas deden heel netjes wat ze verwachtte. Maar eenmaal in de hersenscanner levert dezelfde taak ineens heel andere resultaten op. Hoe kan dat? NEMO Kennislink spreekt opnieuw met de promovendus uit het Language in Interaction-project.
Niemand spreekt precies hetzelfde. De uitspraak van een woord klinkt uit een Limburgse mond anders dan uit een Amsterdamse. En als je een verstopte neus hebt, klink je ook anders dan normaal. Toch verstaan luisteraars het doorgaans allemaal prima. Shruti Ullas onderzoekt sinds juni 2014 hoe onze hersenen dit voor elkaar krijgen.
Een jaar geleden vertelde de promovendus dat ons brein waarschijnlijk verschillende aanwijzingen gebruikt voor deze herkalibrering, afgestemd op een specifieke spreker. Zo kent elke taal zijn eigen regelmatigheden: in het Nederlands verwacht je na het non-woord ‘herk-’ eerder een t dan een p. Daarnaast bevatten sommige klanken – met name klinkers – akoestische informatie over omliggende klanken die kunnen helpen om een dubbelzinnige klank te herkennen.
Maar de eerste twee aanwijzingen die Ullas onder de loep nam, zijn de informatie uit onze woordkennis en uit de visuele input. ‘Markt’ is een bestaand woord en ‘markp’ niet, dus die ambigue klank na ‘mark-’ zal vast een t zijn. Bovendien zie je dat de spreker bij die laatste klank zijn lippen niet op elkaar perst, dus het is onwaarschijnlijk dat hij toch een p zei. In hoeverre draagt deze informatie bij aan het verstaan van spraak en waar in ons brein vindt dit plaats?
Ot of op?
“In mijn eerste gedragsexperiment keek ik alleen naar het effect van de informatie uit onze woordenschat”, vertelt de onderzoeker. “Eerst bepaalde ik voor elke proefpersoon welke klank precies tussen ot en op in zat; dat verschilt per persoon. Die klank plakte ik vervolgens in woorden die eindigen op een van deze klanken, zoals ‘grot’.” Ullas koos juist voor deze twee klanken, omdat er relatief veel Nederlandse woorden hierop eindigen. Bovendien gebruiken ook andere onderzoekers deze klanken in hun experimenten, wat onderling vergelijken van resultaten vergemakkelijkt.
Een proefpersoon hoorde eerst een reeks woorden die eindigden op de dubbelzinnige klank. Daarna hoorde hij de ambigue t/p_-klank geïsoleerd en moest hij aangeven wat hij hoorde. Zo keek Ullas of het brein van de proefpersoon herkalibreerde: is de dubbelzinnige klank ineens duidelijk een _t of een p geworden?
“Zo blijkt het inderdaad te werken”, verklapt Ullas haar nog ongepubliceerde bevinding. “Al is de invloed van visuele informatie groter.” In een tweede experiment hoorden proefpersonen nepwoorden die eindigden op de dubbelzinnige klank. Tegelijkertijd keken ze naar een video waarin een mond het woord uitspreekt. De lipbewegingen bepaalden of de proefpersoon de ambigue klank vervolgens hoorden als een t of een p. Ullas: “Dat is een interessant interactiepunt tussen ons visuele en auditieve systeem.”
Anders in de scanner
Als volgende stap van het onderzoek herhaalt de promovendus dit experiment, maar dan in een fMRI-scanner. Deze scanner registreert de toe- of afname van zuurstof in het bloed in het brein. Een toename in een bepaald gebied duidt op toegenomen hersenactiviteit in die specifieke regio. Zo wil Ullas vaststellen waar in de hersenen deze herkalibrering precies plaatsvindt.
Dat blijkt echter een stuk lastiger dan de promovendus had verwacht. “We wilden de mensen bij wie tijdens het gedragsexperiment het effect het duidelijkst was in de scanner leggen. Dan kan ik hun gedrag combineren met de onderliggende neurologische basis en zo zien wat er gebeurt. Maar dat blijkt nogal een uitdaging: in de fMRI herkalibreren deze mensen niet zo goed als tijdens het gedragsexperiment. We zijn nog aan het uitzoeken hoe dit komt.”
Een van de mogelijke stoorzenders is het achtergrondgeluid dat de scanner produceert. Dit geluid, dat soms wel honderd decibel bereikt, zou het lastiger kunnen maken om de aangeboden klanken te horen. “Maar dit geluid is heel regelmatig, waardoor mensen het na een tijdje meestal wel wegfilteren”, verklaart de onderzoeker. “We hebben ook geprobeerd om de stimuli juist aan te bieden in stille periodes tussen het scannergeluid door, maar de problemen bleven bestaan. Misschien is in de scanner liggen ook minder comfortabel voor een proefpersoon dan de situatie tijdens het gedragsexperiment, en heeft dat invloed op het resultaat.”
Ullas vertrouwt erop dat ze binnenkort met haar begeleiders een oplossing vindt voor dit probleem. “Ik hoop alleen dat we niet te ver hoeven af te wijken van het gedragsexperiment, want dat werkte goed en die resultaten wil ik juist vergelijken met de fMRI-data.”
Kijken in je brein
Naast het schaven aan de opzet van het fMRI-experiment, begeleidt Ullas de komende tijd ook weer discussiegroepen aan de Universiteit Maastricht. “En ik ben mijn kennis over de analyse van fMRI-data aan het bijspijkeren. Dat is een complex proces: je moet de data opschonen, ruis verwijderen en uiteindelijk de betekenisvolle informatie eruit filteren. Daarnaast ben ik ook nog steeds bezig met het gedragsexperiment, omdat ik in totaal zeker tachtig proefpersonen wil. Daar zit ik nu bijna aan.”
Hoewel het frustrerend en demotiverend kan zijn als je experiment niet blijkt te werken, blijft Ullas enthousiast over haar werk als onderzoeker. “Je bent steeds met nieuwe ideeën bezig. Het zijn misschien geen flitsende ontdekkingen die je doet, maar met kleine stapjes kom je wel steeds meer te weten. En ik blijf het ook leuk vinden om mensen te scannen, zeker met de 7T-scanner die we hier hebben. Het is bijzonder dat we met zo veel detail en helderheid kunnen zien wat er in je brein gebeurt.”