Schreeuwen met je handen

Wat gebeurt er als je middelbare scholieren met een koptelefoon vol lawaai met elkaar laat communiceren? Daar kwam ik samen met mijn collega James achter tijdens een hilarisch en leerzaam experiment met leerlingen op de IMC weekendschool.

23 maart 2017

Ergens in januari vroeg onze public outreach officer of ik mee wilde helpen met het demonstreren van een leuk experiment om de leerlingen van de IMC weekendschool kennis te laten maken met ons vakgebied. Hartstikke leuk natuurlijk, maar normaal kijk ik naar hersenactiviteit door gebruik te maken van een MEG, en die kon ik natuurlijk niet even meeslepen!

Wat gebeurt er als je middelbare scholieren met een koptelefoon vol lawaai met elkaar laat communiceren?
Pixabay CC0

Krachten bundelen

De oplossing? Een kopje koffie met mijn slimme collega James. James is ook promovendus, en samen werken wij binnen het Language in Interaction project. Hij doet onderzoek naar wat gebaren nu precies communicatief maakt en hoe we nu precies weten dat een gebaar iets betekent. Eigenlijk lijken onze projecten dus best op elkaar, maar toch hadden we nog nooit samengewerkt, en dat vonden we erg jammer!

Een academische liefdesbaby

We besloten daarom voor deze weekendschool onze krachten te bundelen en samen een nieuw experiment te bedenken: een soort academische liefdesbaby van onze projecten. Ik doe onderzoek naar hoe handbewegingen iets bijdragen aan taalbegrip in rumoerige situaties. James daarentegen probeert te kijken hoe we ontdekken dat er achter een gebaar of een actie een communicatieve intentie schuil gaat.

Een combinatie was snel gemaakt: We besloten een onderzoek op te zetten naar wat gebaren nu communicatief maakt in realistische, rumoerige situaties. Niet vanaf een begripskant dit keer, maar wanneer mensen zich ook echt in zo’n situatie bevinden en taal produceren!

De werkwoorden die we gebruikten tijdens ons experiment.
Linda Drijvers voor NEMO Kennislink

Wat zeg je?

 En hier begon de voorpret. Want natuurlijk wilden we dat de leerlingen van de weekendschool iets leerden, maar het moest natuurlijk ook leuk zijn! Ons experiment was simpel. We knipten ongeveer 90 kaarten met werkwoorden erop (zie bijgevoegd plaatje). Deze werkwoorden moesten de leerlingen vervolgens naar elkaar communiceren. Een van de leerlingen was daarbij de ‘luisteraar’ en een van de leerlingen de ‘spreker’. Beide leerlingen kregen een grote geluidsdichte koptelefoon op waardoor ze heel veel mensen door elkaar hoorden praten, en ze elkaar dus bijna niet konden horen.

Schreeuwen met je handen

We stelden een klok in van vijf minuten. De leerlingen moesten in die tijd zoveel mogelijk werkwoorden aan elkaar doorgeven. Dit leverde hilarische situaties op, want al snel merkten de leerlingen dat ze het met alleen schreeuwen nooit gingen redden. We zagen al snel dat de leerlingen steeds vaker handbewegingen gebruikten om hun spraak te ondersteunen, en dat is precies wat we verwacht hadden.

Tegelijkertijd volgden wij de bewegingen van de ‘spreker’ door gebruik te maken van de infraroodcamera van Kinect (wat sommige leerlingen terecht herkenden als iets dat je normaal gebruikt bij sommige XboX spellen!). Op deze manier registreerden we precies alle bewegingen van de leerlingen terwijl ze het werkwoord aan het communiceren waren, zelfs als ze dus ‘schreeuwden’ met hun handen. Dat ziet er bijvoorbeeld zo uit:

Dit is wat we zien door Kinect te gebruiken. Iemand probeert eerst te schreeuwen, maar gebruikt dan uiteindelijk toch zijn handen om het te verduidelijken!

Poll

Weet jij welk werkwoord hier wordt uitgebeeld?

Op dit moment proberen we nog een Kinect toe te voegen die de gezichtsbewegingen van mensen volgt terwijl ze met dit experiment mee doen. Hiermee proberen we uiteindelijk te onderzoeken hoe handbewegingen taalbegrip vergroten tijdens verschillende maten van lawaai, maar ook wat voor effect dit heeft op de bewegingen die een spreker maakt met haar handen en in haar gezicht. Ook dat ziet er erg leuk uit:

Weet jij wat deze persoon zegt hier?

We zijn benieuwd naar de resultaten! En de leerlingen van de weekendschool? Zij waren niet alleen ontzettend goede proefpersonen, maar ze vonden het vooral ‘lekker om even de frustratie eruit te gooien en een spel te spelen, zeker tijdens school!’