Digitale realiteiten zoals virtuele mensen, metaverse-achtige toepassingen en digitale twins zijn hot en controversiële onderwerpen. Steeds meer nieuwssites gebruiken virtuele nieuwslezers, steden zijn naarstig op zoek naar een stedelijke digital twin. En een van de meest invloedrijke bedrijven van de afgelopen twee decennia veranderde zijn naam van Facebook naar Meta, een knipoog naar het metaverse, een allesomvattende digitale realiteit. Een plek voor elkaar ontmoeten, verbinden, winkelen en werken. Het zou een forum zijn voor democratie en sommigen zien het als een 3D-versie van het internet. Investeringen in digitale realiteiten zijn inmiddels aanzienlijk.
Wat je leest in dit artikel
De huidige maatschappij heeft uiteenlopende uitdagingen. Denk aan educatie, journalistiek, zorg en ruimtelijke ordening op zee of op land. De hogescholen BUAS en Fontys werken samen in de SIA SPRONG groep DIGIREAL en onderzoeken innovaties met behulp van digitale realities.
Over het onderzoek: Virtual Humans – Real Emotions
De SIA Sprong-groep DIGIREAL (2022-2029) ontwikkelt en onderzoekt innovaties met deze digital realities als sleuteltechnologie en -methodologie voor inzet bij maatschappelijke vraagstukken en opgaven op uiteenlopende vlakken. Denk aan educatie, journalistiek, zorg en ruimtelijke ordening op zee of op land.
DIGIREAL onderzoekt en innoveert onder meer de technologie en toepassing van virtuele mensen. Virtuele mensen zijn softwareprogramma’s die de illusie van een mens geven door menselijke verschijning (lichaam) en verbale (spraak) en non-verbale (gezichtsuitdrukkingen van emotie, blik, gebaren en houding) gedragingen te simuleren. Ze worden toegepast in allerlei domeinen, zoals onderwijs, gezondheidszorg, veiligheid, journalistiek en publieke besluitvorming. Dit onderzoek wordt deels gefinancierd door DIGIREAL, maar heeft ook geleid tot een groeiend portfolio aan subsidies, waaronder een recente van Regiodeal Midden Brabant (2022-2026).
De SIA Sprong-groep DIGIREAL (2022-2029) ontwikkelt en onderzoekt innovaties met deze digital realities als sleuteltechnologie en -methodologie voor inzet bij maatschappelijke vraagstukken en opgaven op uiteenlopende vlakken. De hogescholen BUas en Fontys trekken het project met MindLabs en tientallen partners. Mark de Graaf is lector Interaction Design bij Fontys. Igor Mayer is lector Serious Games, Innovation & Society bij Breda University of Applied Sciences. Nick van Apeldoorn is projectleider DIGIREAL. Petra van Dijk is directeur MindLabs
De echte realiteit kampt met enorme uitdagingen op het gebied van klimaatverandering, biodiversiteit, democratische erosie, vergrijzing, bevolkingsgroei en toenemende ongelijkheid in welvaart. Het voelt tegenstrijdig om miljarden te investeren in een digitale realiteit terwijl de echte wereld zulke urgente problemen ervaart. Maar het is niet langer de vraag of we digitale realiteiten willen. Met de aanzienlijke investeringen in digitale realiteiten en technologische innovaties kunnen we aannemen dat digitale realiteiten een rol gaan spelen in hoe we de wereld zullen ervaren. Alleen hoe die wereld eruit gaat zien, dat blijft onduidelijk.
Daarnaast is nog steeds de grote vraag hoe we deze digitale realiteiten ervaren. Wat is de impact van digitale realiteiten op interactie, in een digitale omgeving, of met een virtueel mens? Welke kansen bieden digitale realiteiten voor onderwijs? Wat is de toekomst van entertainment en media? Kunnen digitale realiteiten bijdragen aan het bestrijden van eenzaamheid, of zullen ze het veroorzaken? Wat zal de rol zijn van digitale realiteiten op gebieden als participatie en stedelijke ontwikkeling? En misschien wel de belangrijkste vraag: kunnen virtuele werelden bijdragen aan het oplossen van echte wereldproblemen?
DIGIREAL ontwikkelt en onderzoekt innovaties met deze digital realities als sleuteltechnologie en -methodologie. De SIA Sprong-groep richt zich op inzet bij maatschappelijke vraagstukken en opgaven op uiteenlopende vlakken, zoals educatie, journalistiek, zorg en ruimtelijke ordening op zee of op land.
De onderliggende uitdaging is bij te blijven met de wereldwijde technologische ontwikkelingen en toepassingen van deze sleuteltechnologieën. Dat is al moeilijk voor academische en toegepaste onderzoekers, laat staan voor gebruikers en besluitvormers. Digitale realiteiten worden grotendeels geleverd door een op winst gerichte ‘big tech’-industrie en/of start-ups. Die missen vaak ‘transparantie’ in hun ontwikkeling en bedrijfsmodellen en hebben soms beperkte aandacht voor de maatschappelijke implicaties. Daarom is een multidisciplinaire R&D-agenda nodig die zowel de technologische ontwikkelingen voor maatschappelijke doeleinden verkent als de risico’s in kaart brengt.
Een belangrijk resultaat van DIGIREAL is een kennis- en innovatiecentrum op het gebied van digital realities dat onderdeel is van de twee betrokken hogescholen, BUas en Fontys, en het MindLabs ecosysteem. Het omvat onder meer een gezamenlijk onderzoeksprogramma, een samenhangend portfolio aan extern gefinancierde R&D-projecten en een ketensamenwerking tussen R&D-labs.
Mark de Graaf: "We proberen ons op het gebied van virtuele mensen (virtual humans, VH) te onderscheiden door een open, kritische en maatschappelijk verantwoorde benadering. Dat doen we onder meer door ‘moral design’ en vanuit principes zoals open source en pre-competitieve R&D. Ook stellen we VH-innovaties beschikbaar voor wetenschappelijk en actie-onderzoek. Verder werken we aan de toepassing en evaluatie van VH-innovaties voor grote maatschappelijke vraagstukken, zoals gezondheid, duurzaamheid en brede welvaart."
Igor Mayer: "We hebben een palet aan virtuele mensen ontwikkeld en getest. Een toepassingsvoorbeeld is het trainen van artsen in het herkennen van mogelijke medische noodsituaties aan de gelaatsexpressie van de moeder tijdens een bevalling. We werken aan simulaties van non-verbale emoties, zoals verschillende uitingen van verdriet, waaronder huilen. Dat is bruikbaar voor psychologisch onderzoek naar empathie of voor therapie. Voor MindLabs hebben we de virtuele mens MAI (MindLabs Artificial Intelligence) ontwikkeld, als wetenschapscommunicator voor ons eigen innovatie-ecosysteem en het DIGIREAL-programma. We onderzoeken de mogelijkheden van virtuele mensen om de kwaliteit van maatschappelijke discussies en politieke besluitvorming te verbeteren, bijvoorbeeld via virtuele journalisten."
Nick van Apeldoorn: "Ik wil geen speeltjes maken. De producten waar wij aan werken moeten een maatschappelijke toepassing hebben. Anders ben ik er niet in geïnteresseerd. Er komt nu zoveel technologie op ons af – een open, kritische blik is belangrijk om te onderzoeken wat digital realities kunnen bijdragen, of afbreken."
Petra van Dijk: "DIGIREAL is een drijvende kracht achter de ontwikkelingen van MindLabs. Verschillende kennisinstellingen werken concreet, samen en boeken resultaten die een energie rond ons ecosysteem creëren waar spin-offs uit blijven voorkomen."
MAI is ontwikkeld als een virtuele influencer voor MindLabs. Wil je weten hoe ze gemaakt is? Bekijk deze clip.
DIGIREAL zet innovaties op het gebied van game-based digital twins ook in voor ruimtelijke planning, met name op zee. Een van de innovaties in het EU-project ILIAD Digital Twin of the Ocean is een virtual- en augmented-reality platform. Dat kan met AI automatisch superrealistische 3D-representaties genereren van de gevolgen van ruimtelijke beslissingen op zee. Denk aan nieuwe experimentele technologie voor wind op zee, zoals drijvende turbines of zonnepanelen. Hiermee kan de impact inzichtelijk worden gemaakt die deze technologie op termijn heeft op scheepvaart of mariene ecologie – bijvoorbeeld voor locaties op de Noordzee.
• Hogeschool BUas (Breda University of Applied Sciences), met drie lectoraten: Serious Games, Entertainment Games en Immersive Media.
• Hogeschool Fontys, met diverse lectoraten, waaronder ICT en Journalistiek.
• Mkb-partners in de sectoren AI, games en immersive media: Enversed, Reblika, Argaleo, Flooid, de Effenaar, e.a.
• Overige partners: MindLabs (Tilburg), Tilburg University, Digishape, Logistics Community Brabant, Chronosphere, e.a.
• Overheden: Regiodeal Midden Brabant (2022-2026), ministerie van Infrastructuur en Watermanagement / Rijkswaterstaat, ILIAD Digital Twin of the Ocean (EU Green Deal) en vele andere EU-projecten.
DIGIREAL betrekt in onderwijs en in het Cradle R&D lab tientallen studenten van kennisinstellingen op uiteenlopende manieren bij virtuele mensen, metaverse-applicaties en digital-twin-projecten. Daarnaast gebruiken vier PhD’s en één PD de digital-reality-innovaties voor hun onderzoek.
The SIA IMPULS project DIGIREAL aims to significantly strengthen BUAS’ Research and Development (R&D) on Digital Realities for the benefit of innovation in our sectoral industries. The project will furthermore help BUas to position itself in the emerging innovation ecosystems on Human Interaction, AI and Interactive Technologies.
In 2021, Breda University of Applied Sciences – 7,000 students in the domains of Hotel Management, Facility Management, Games, Media, Logistics, Built Environment, Leisure & Events, and Tourism –discussed the impact of the emerging developments of immersive technologies (VR, AR, AI, Digital Twins) within the sectoral industries.This project, DigiReal – Digital Realities (DR) for Smart Industries - aimed to look beyond the diversity and variety of individual use cases to develop valuable concepts and innovations in methodologies and lab infrastructure, discussing questions: how do we create, use and experience DR sensibly, meaningfully, and responsibly?This report contains a coherent summary of the project with a lot of (domain) examples and technological developments. As a result, this report contains a BUas-wide research agenda on Digital Realities with a framework of overall, generic research questions, methodologies and ecosystems. This research has been financed by Regieorgaan SIA, part of the Dutch National Funding Organisation for Scientific Research (NWO)
DOCUMENT
