Naar de content

Voorbij Zoom: vergaderen met hologrammen

Pablo Cesar onderzoekt de toekomst van online communicatie

Een man met een VR-bril op zijn hoofd.
Een man met een VR-bril op zijn hoofd.
Elodie Burrillon | https://hucopix.com

Vergeet vergaderen via Zoom, Teams of Google Meet. In de toekomst spreken we elkaar online via 3D-beelden, waardoor je je collega’s bijna in het echt voor je ziet staan. Aan deze vorm van communicatie werkt Pablo Cesar (TU Delft/CWI). NEMO Kennislink zoekt hem op in zijn opzienbarende lab.

16 juli 2021

Met een druk op de knop verschijnt jouw moeder, die op dat moment aan de andere kant van de wereld is, gewoon in jouw eigen woonkamer. Nee, dit is geen Star Trek en ze is niet geteleporteerd naar jouw huis. Het is een nieuwe technologie waar wetenschappers onder meer in Delft en Amsterdam momenteel aan werken, waardoor je niet meer hoeft te beeldbellen, maar iemand als hologram voor je verschijnt. Dan is het bijna alsof je moeder echt voor je staat.

“Dat is handig nu we tijdens de coronacrisis steeds meer op afstand communiceren”, zegt Pablo Cesar. Hij is hoogleraar human centered multimedia systems aan de TU Delft en leidt de groep distributed and interactive systems bij het Centrum voor Wiskunde en Informatica (CWI). “Zowel met familie als voor het werk communiceren we steeds meer via de computer. Maar we merken allemaal dat naar een beeldscherm kijken ons snel moe maakt, ingewikkeld is en niet goed werkt. Wij onderzoeken de communicatie van de toekomst, waarin je bijvoorbeeld met behulp van een virtual reality-bril elkaar echt voor je ziet en zo met elkaar praat of een spel speelt.”

Door iemand met meerdere camera’s op te nemen, kan je een 3D-beeld van diegene maken en dit vervolgens versturen naar andere mensen die deelnemen aan een vergadering.

 Lab CWI

Lange gangen met systeemplafonds

Aan deze nieuwe vormen van communicatie werkt Cesar in een op het eerste gezicht saai, grijs kantoorpand. Hier verwacht je geen vernieuwend wetenschappelijk onderzoek dat de toekomst wil vormgeven. Ook van binnen lijkt het weinig bijzonder: lange gangen met systeemplafonds en veel dichte deuren. Maar achter die deuren vindt wel degelijk spannend onderzoek plaats.

Cesar opent de deur van een van de kamers. Hier vind je geen formeel geklede werknemers in pak die naar beeldschermen turen. Nee, er staan vooral dozen en meerdere camera’s op statieven. De dozen zijn aan een kant roze gemaakt. Een collega van Cesar loopt erlangs en zwaait druk met zijn armen. Op het computerscherm verschijnt een afbeelding van de man. “Op deze manier gaan we na of we goede 3D-beelden van een persoon kunnen maken”, zegt Cesar. Hij wijst naar het scherm. “Daarop checken we of de camera’s alles goed weergeven.” De dozen helpen daarbij om na te gaan of de technologie objecten vanaf verschillende kanten goed weergeeft.

Het is een van de experimenten die het weergeven van een persoon in 3D mogelijk moet maken. Cesar en collega’s onderzoeken in hun lab vrijwel alles van deze communicatie. Hoe gebruikers het toepassen en ervaren, maar ook hoe je al deze gegevens zo goed mogelijk verstuurt. “Het grote 3D-beeld dat we van iemand maken levert namelijk een enorm bestand op. Die gegevens moeten we dan nog versturen. Bijvoorbeeld vanuit deze kamer naar de andere kant van de wereld. Wij onderzoeken daarom ook hoe je alle data slim kan versturen en daarna weer moet opbouwen bij de ontvanger.”

Bestanden razendsnel inpakken

Dat werkt als volgt. Wanneer we grote bestanden naar elkaar sturen via het internet, dan worden ze in stukjes gehakt. Je kunt dit vergelijken met kleine pakketjes die via de digitale snelweg razendsnel naar de andere kant van de aardkloot gaan. Bij het versturen is de eerste stap bepalen wat je precies in de pakketjes stopt. “Als ik met mijn familie in Spanje wil praten en daar een projectie van mij wordt weergegeven, dan hoeven ze niet mijn rug te zien. Het is daarom niet nodig die beelden te versturen.” Doe je dat wel, dan verstuur je zoveel pakketjes dat er opstoppingen ontstaan en dus ook vertraging. “Het belangrijkste is het gezicht, dus dat verzenden we in hoge resolutie. Maar niet alles hoeven we zo scherp weer te geven. Daarom laten we beelden die niet nodig zijn en ruis achterwege. Zo worden de bestanden nog voordat we ze versturen al minder groot.”

Wat precies relevant is, bepalen algoritmes, slimme rekenprogramma’s, die Cesar met zijn collega’s ontwikkelen. Die algoritmes doen nog meer. Ze maken de pakketjes die ze versturen heel klein, dit heet comprimeren. Het werkt ongeveer net zoals een zip-file maken op je computer, waarbij je een groot bestand zo inpakt dat het minder ruimte inneemt en je het rapper verstuurt. De pakketjes die ertoe doen worden verzonden naar de ontvanger. Daar moeten ze weer worden uitgepakt en in elkaar worden gezet. Je kunt dit enigszins vergelijken met een boekenkast die je in de winkel zag en hebt gekocht, die ingepakt wordt verzonden en daarna bij jou in huis weer uitgepakt wordt. “Ook bij het uitpakken spelen onze algoritmes een sleutelrol, de manier waarop we comprimeren bepaalt bijvoorbeeld de beeldkwaliteit en hoeveel vertraging er is. Daarbij gaat het ons om de hoogst mogelijke kwaliteit voor de gebruikers.”

Dit moet mogelijk maken dat we over een jaar of vijf á tien zo met elkaar communiceren. Hoe het er dan in jouw werk- of woonkamer uitziet, is moeilijk nu al aan te geven. In het lab zijn het nu nog vrij forse camera’s op statieven die een 3D-beeld van jou maken en je hebt een virtual reality-bril nodig om elkaar te zien. Maar straks in jouw huis kan het maar zo zijn dat je veel minder camera’s nodig hebt en dat deze zo klein als een speldenknop zijn, en dat een hologram voor jou verschijnt, wat een bril overbodig maakt.

Een goed voorbeeld van een toepassing van het onderzoek van Cesar is het gezamenlijk aansnijden van een verjaardagstaart. Onlangs vierde het CWI, waar Cesar deels werkt, haar vijfenzeventigste verjaardag. Er was een taart, maar die was heel toepasselijk in een virtuele ruimte gezet. Via computers, camera’s en een virtual reality-bril kon je die plek betreden. “En daar dan samen van de taart smullen. Zo ontmoet je elkaar in een betere omgeving dan wanneer je alleen naar een scherm kijkt.” Er was zowel een echte als een virtuele taart.

Omakamer tjokvol technologie

Deze technologie is volgens Cesar niet alleen handig voor werk of om contacten met familie en vrienden te onderhouden. Het is ook in te zetten om op afstand te communiceren met doktoren. Met deze technologie doe je eenvoudig een check-up of stel je even een vraag aan de huisarts of een medisch specialist. “En het is nog breder te trekken. Voor de BBC en British Telecom, hebben we jaren geleden voor de finale van de FA Cup in Engeland een tweede scherm aangeboden aan supporters. Zij konden zelf het camerastandpunt bepalen van de beelden waar ze naar keken. Het was ook mogelijk om herhalingen te bekijken. De kijker bepaalde dus zelf wat hij zag. In een kroeg vol met supporters van de uitspelende club kan je er ook voor kiezen om alleen het geluid van het uitvak af te spelen. Of om op een extra scherm weer te geven wat de trainer of sterspeler doet. Ook hierbij draait het om het verzenden van heel veel data, die slim moet worden verpakt en uitgepakt. Je moet dit bijna real-time weergeven bij de ontvangers. In het experiment rond de FA Cup lieten we zien dat dit nu al mogelijk is.”

Hoe communiceren we in de toekomst met elkaar? Dat onderzoekt Pablo Cesar. Hij kijkt naar hoe mensen de technologie gebruiken, maar ook op welke manier je het beste bestanden kan versturen en uitpakken op plek van bestemming.

 Elodie Burrillon | https://hucopix.com

Dat Cesar meewerkte aan deze test is niet zo vreemd. Hij werkt het liefst in zo realistisch mogelijke settings. Dat merk je ook wanneer je door zijn eigen lab dwaalt. Als hij de deur sluit van de kamer met de dozen, loopt hij naar de overkant. Een nieuwe deur gaat open en we staan midden in een kamer die van onze oma had kunnen zijn. Op de grond ligt een Perzisch tapijtje. Aan de ene muur hangt een flatscreen en aan de andere een portret van de koning en koningin. Geen ruimte die je verwacht bij high-tech onderzoek. “Toch is ook dit een van onze onderzoekskamers”, zegt Cesar.

Hij wijst op een oude lamp en vertelt dat er een microfoon in zit om op te nemen wat in de kamer wordt gezegd. Aan de muren hangen camera’s. Op die manier willen de onderzoekers zo goed mogelijk in kaart brengen hoe mensen nieuwe technologie gebruiken. “Wij bepalen hier onder meer zelf wat mensen zien op het televisiescherm. Bijvoorbeeld familieleden, waarmee je op afstand een spel speelt en dat daarop projecteert. En we onderzoeken hoe mensen hier televisieprogramma’s kijken. We kijken hoe mensen de technologie toepassen, want het draait niet alleen om slimmigheden in hoe je data verpakt, maar ook om hoe het wordt gebruikt.” Het is een mooi contrast: een kamer van bejaarden waarin het onderzoek van morgen plaatsvindt.

Met zijn onderzoek geeft Cesar de wereld van morgen vorm. Hij werkt nu aan technologie, die we over een jaar of tien gebruiken. “De afgelopen anderhalf jaar zijn we veel meer online gaan communiceren. Dat gaat niet meer weg. Als we straks weer vaker naar kantoor mogen, dan blijft een deel van de mensen thuiswerken en zij maken gebruik van communicatie op afstand. Ook onderhoud je op deze manier eenvoudiger contact met mensen aan de andere kant van de wereld. Als we online communiceren in een 3D-wereld, gaat dat veel fijner. Het is noodzakelijk om dat steeds beter te maken.”

Voor de vijfenzeventigste verjaardag van het Centrum voor Wiskunde en Informatica was er natuurlijk taart om het te vieren. Maar deze werd, geheel in stijl, virtueel aangesneden. In dit filmpje zie je daar de beelden van en een kleine demonstratie van de technologie die Cesar en collega’s ontwikkelen. Het begeleidend commentaar is in het Engels.

ReactiesReageer