IngeZoomd: Ik hoor je... niet!

‘Je staat nog op mute!’ Misschien is dit zinnetje de laatste anderhalf jaar tijdens online meetings wel het vaakst gezegd. “Zelf hannes ik er meestal nogal mee, maar sommigen zijn heel vaardig in snel muten en unmuten,” vertelt Willemijn Doedens, taalonderzoeker aan het Donders Instituut van de Radboud Universiteit. “Ik ontdekte laatst pas dat je dat heel makkelijk met de spatiebalk kan doen, maar dat moet je dan wel heel precies timen, anders praat je al voordat de anderen je kunnen horen.”

“Ah, dat wist ik ook niet, dat dat met de spatiebalk kon,” reageert haar collega Esther Janse, die spraakverwerking onderzoekt aan de Radboud Universiteit. “Muten is eigenlijk ook alleen nodig als je met veel mensen in een overleg zit; dan leiden achtergrondgeluiden sneller af. Het werkt ook goed om galm te voorkomen, als de spreker zichzelf terug hoort via de microfoon van de ander, maar daartegen werkt een koptelefoon misschien nog beter. Als je actief deelneemt aan een gesprek is muten helemaal niet zo handig.”

Zulke ruisonderdrukking werkt door middel van een algoritme dat is getraind met grote hoeveelheden spraakopnames met verschillende hoeveelheden achtergrondgeluiden (ruis). Op basis van die lessen kan de software ook nieuwe spraak onderscheiden van nieuwe omgevingsgeluiden. Vergelijkbare algoritmes worden ook gebruikt in hoorapparaten en in software voor automatische spraakherkenning.

Synchroon beeld en geluid

Een groter audio-struikelblok tijdens online bijeenkomsten is misschien wel de vertraging ‘op de lijn’ die ervoor kan zorgen dat beeld en geluid niet meer gelijklopen. Vooral als de audio voorloopt op het beeld, merken mensen dat snel op, al vanaf een verschil van 20 milliseconden. Eenmaal opgemerkt, wordt ook het verstaan van spraak moeilijker, zo toont onderzoek van de Amerikaanse spraakonderzoeker Ken Grant aan. Andersom, als het beeld voorloopt op het geluid, merken we minder snel op en vinden we ook minder snel storend; pas rond een verschil van 160 milliseconden. Waarschijnlijk komt dat doordat we deze asynchroniciteit in de natuur ook tegenkomen als gevolg van het verschil in snelheid van licht en geluid. Iemand die op een afstand van twintig meter tegen je praat, hoor je altijd al met een vertraging van 60 milliseconden, daar zijn onze hersenen aan gewend.

“Vooral als je minder goed hoort, is het belangrijk dat het beeld gelijkloopt met het geluid. Het mondbeeld helpt je bij het verstaan van spraak,” stelt Janse. Samen met Doedens en andere Nijmeegse collega’s onderzoekt zij communicatie in online omgevingen als Zoom, en dan met name door mensen met communicatieproblemen, bijvoorbeeld als gevolg van een taalstoornis als afasie of doordat ze de taal niet goed spreken. “Ook voor mensen met afasie maakt dat communiceren nog lastiger – het aanpassen aan vertraagde audio vraagt een extra inspanning in een proces dat toch al niet meer vanzelfsprekend is.” Maar ook zonder onderliggende communicatieproblemen wordt spraak verstaan moeilijker als beeld en geluid niet synchroon lopen.

“Het scheelt wel als de vertraging continu is en steeds even lang”, aldus Doedens. “Dan treedt gewenning op en compenseert je brein voor het verschil. Maar als de vertraging er dan weer wel, dan weer niet is, is het lastig om daarop in te spelen. De enige oplossing daarvoor is eigenlijk een goede internetverbinding, maar dat heb je niet altijd in de hand natuurlijk.”

In dat geval kun je beter wegkijken van je scherm, zodat je je helemaal kunt richten op de audio. Tijdens een Zoom-meeting voelt dat misschien wat vreemd, maar eigenlijk is dat veel natuurlijker: tijdens face-to-facegesprekken kijk je elkaar ook niet continu aan. Of anders toch maar ouderwets de telefoon pakken.