De zintuigen in de war

Elk van de vijf zintuigen heeft zijn eigen hersengebied. Toch werken ze voortdurend samen. We merken dit aan al de manieren waarop onze hersenen zich laten bedriegen.

16 juni 2005

Onze zintuigen lijken losse apparaatjes die onafhankelijk van elkaar hun werk doen. We zien met onze ogen, horen met onze oren en ruiken met onze neus. Ook in de hersenen lijkt de verschillende informatie in aparte gebieden verwerkt te worden. Maar hoe weten we dan welke beelden bij welke geluiden horen? Werken onze zintuigen eigenlijk wel zo onafhankelijk van elkaar? Opmerkelijke fenomenen zoals de buikspreker-illusie doen vermoeden van niet.

Stel je eens voor: je loopt nietsvermoedend een erf op en ziet ineens twee honden liggen. De ene hond ligt vredig te slapen, terwijl de ander luid ligt te grommen. In je hersenen zal feilloos de goede hond aan het gegrom gekoppeld worden, zodat je hier met een grote boog omheen kunt lopen. Hopend dat je de andere hond niet wakker maakt natuurlijk.

Het is bekend dat wat we zien, dus visuele informatie, helemaal achter in de hersenen (in de zogenaamde occipitale hersenkwab) verwerkt wordt tot beelden waarvan we ons bewust zijn. Auditieve informatie, dus wat we horen, wordt in een heel ander gebied, aan de zijkant van de hersenen (de zogenaamde temporale hersenkwab), verwerkt. Toch wordt wat we zien (de honden) kennelijk ook weer verenigd met wat we horen (het gromgeluid). Alleen dan nemen we alles in de omgeving als kloppend geheel waar.

Dit gebeurt ook als je met iemand staat te praten in de disco. De muziek staat zo hard dat je elkaar nauwelijks kunt verstaan. Toch kan je best goed volgen wat de ander allemaal vertelt, zolang je maar naar diens bewegende mond kijkt. De ogen en de oren kunnen elkaar dus helpen in situaties dat de één minder optimaal kan werken.

De McGurk-illusie: wat je ziet is wat je hoort

In 1976 deed de wetenschapper McGurk samen met zijn collega McDonald een spectaculaire ontdekking. Namelijk dat liplezen ons gehoor niet alleen kan helpen als we naar iemand luisteren, maar dat het zelfs kan veranderen wat we horen.

http://www.youtube.com/watch?v=PWGeUztTkRA
Test zelf de McGurk-illusie in het bovenstaande filmpje. Luister met je ogen dicht naar het filmpje en bedenk wat je hoort, kijk dan naar het filmpje met de volumeknop dicht. Bekijk tenslotte het filmpje met geluid…

Ze ontdekten dit toen ze proefpersonen naar een bandje lieten luisteren met uitgesproken lettergrepen, bijvoorbeeld ba-ba. Tegelijkertijd keken de proefpersonen naar een video van iemand die lettergrepen uitsprak. Het geluid van de video stond uit. De lipbewegingen op de video kwamen soms overeen met het bandje (dus ba-ba), en soms niet (bijvoorbeeld, ga-ga). De proefpersonen werd gevraagd welke lettergreep ze op het bandje hoorden. Een makkie, zou je denken. En inderdaad, als op de video ba-ba werd uitgesproken, hadden alle personen het antwoord goed. Maar wanneer de lipbewegingen ga-ga uitbeeldden, meenden de proefpersonen steevast da-da te horen. Terwijl op het bandje nog steeds ba-ba afgespeeld werd! De ogen hielden de oren dus als het ware voor de gek. Denk nu nog maar eens terug aan dat gesprek in de disco. Misschien heeft die leuke jongen of dat leuke meisje wel iets heel anders tegen je gezegd!

De buikspreker: wáár je het ziet is wáár je het hoort

De McGurk-illusie toont aan dat wat je ziet kan beïnvloeden wat je hoort. De buikspreker-illusie laat zien dat visuele informatie ook kan beïnvloeden waar je iets denkt te horen. We kennen allemaal de buikspreker, die de mond van een pop zo laat bewegen dat het lijkt of deze echt praat. Terwijl de buikspreker natuurlijk zelf praat, gewoon met zijn (of haar) mond, maar deze zo stil mogelijk houdt. Doordat de mondbewegingen van de pop overeenkomen met wat we horen, koppelen de hersenen dit automatisch aan elkaar, zelfs terwijl we weten dat een pop helemaal niet kan praten! Het geluid wordt dus aan de verkeerde “spreker” toegekend! Als dit maar niet gebeurt bij die twee honden op het erf…

m13s
Voorbeeld van een buikspreker. Doordat de lipbewegingen van de pop overeenkomen met wat er wordt gezegd door de buikspreker, denken onze hersenen dat de spraak bij de pop vandaan komt.

De flits-illusie: wat je hoort is wat je ziet

Andersom kan het ook: de oren kunnen ook de ogen voor de gek houden. Dit gebeurt in de zogenaamde flits-illusie, die ook tijdens een experiment is ontdekt. Proefpersonen kregen lichtflitsen op een beeldscherm te zien en tegelijkertijd korte piepjes te horen, en moesten het aantal lichtflitsen tellen. Als er meer piepjes kwamen dan lichtflitsen, dachten de proefpersonen meer flitsen te zien dan er echt waren.

Wat je ziet is wat je hoort… of andersom?

Wanneer verwarren de oren de ogen nu, en wanneer andersom? Dit lijkt te worden bepaald door welke van de twee de nauwkeurigste informatie geeft in een bepaalde situatie. Geluiden zijn in de tijd gestructureerd, en geven dus goede informatie over wanneer iets gebeurt, of hoeveel gebeurtenissen er na elkaar zijn. Beelden geven juist betere informatie over waar iets is. Denk maar aan gesproken en geschreven woorden. Bij gesproken woorden hoor je de afzonderlijke letters één voor één. Bij geschreven woorden kan je alle letters tegelijk zien, maar staan ze allemaal op een andere plaats. Dus als het belangrijk is te weten hoeveel flitsen er na elkaar plaatsvinden, zullen de hersenen de oren sneller geloven dan de ogen. Aan de andere kant, als het belangrijk is te weten waar iets plaatsvindt, gooien de ogen weer meer gewicht in de strijd. En kunnen de hersenen ons dus laten denken dat de pop praat, en niet de buikspreker.

Vereniging en verwarring in de hersenen

Als we aparte hersengebieden hebben voor visuele en auditieve informatie, waar en hoe worden deze dan verenigd? De illusies laten al zien dat het in elk geval heel snel en automatisch gebeurt. Bij de McGurk-illusie waren de proefpersonen zich er niet van bewust dat ze ineens andere lettergrepen hoorden. En zelfs terwijl we weten dat poppen niet kunnen spreken, denken we toch bij elke (goede) buikspreker weer even dat het de pop is die spreekt.

Recent onderzoek met behulp van zogenaamde neuro-imaging technieken, waarmee als het ware in de hersenen gekeken kan worden, heeft interessante resultaten opgeleverd. Zo vonden Beauchamp en collega’s van het National Institute of Health (NIH) in Washington, dat er hersengebieden bestaan die extra hard werken als de ogen en oren tegelijk informatie doorgeven die bij elkaar hoort (bijvoorbeeld een plaatje van een telefoon, en het bijbehorende gerinkel, zoals te zien in onderstaande afbeelding a). Deze gebieden blijken precies tussen de occipitale en temporale hersenkwabben in te liggen, in de zogenaamde superieure temporale cortex ( zie onderstaande afbeelding b). Dus na de aparte verwerking in de daarvoor gespecialiseerde gebieden, worden beelden en geluiden in de hersenen verenigd. En soms dus ook verward, zoals we gezien hebben.