Communication between healthcare professionals and deaf patients has been particularly challenging during the COVID-19 pandemic. We have explored the possibility to automatically translate phrases that are frequently used in the diagnosis and treatment of hospital patients, in particular phrases related to COVID-19, from Dutch or English to Dutch Sign Language (NGT). The prototype system we developed displays translations either by means of pre-recorded videos featuring a deaf human signer (for a limited number of sentences) or by means of animations featuring a computer-generated signing avatar (for a larger, though still restricted number of sentences). We evaluated the comprehensibility of the signing avatar, as compared to the human signer. We found that, while individual signs are recognized correctly when signed by the avatar almost as frequently as when signed by a human, sentence comprehension rates and clarity scores for the avatar are substantially lower than for the human signer. We identify a number of concrete limitations of the JASigning avatar engine that underlies our system. Namely, the engine currently does not offer sufficient control over mouth shapes, the relative speed and intensity of signs in a sentence (prosody), and transitions between signs. These limitations need to be overcome in future work for the engine to become usable in practice.
Afsluiting Tot slot geef ik u een korte samenvatting van mijn openbare les. Ik ben de les begonnen met een verwijzing naar het rapport Micro Systems Technlogy, exploring opportunities van de Stichting Toekomstbeeld der Techniek. Ik heb laten zien dat er inmiddels grote markten zijn ontstaan waarin microsysteemtechnologie een essentiële rol speelt. Ik heb verteld over de wereld van de microsystemen en hoe die in onze dagelijkse omgeving een steeds belangrijker rol gaan spelen. Over microsystemen die steeds kleiner worden, zelfs de grootte van zandkorrels zullen hebben. Ik heb geprobeerd aan te geven dat er mogelijk dramatische veranderingen in onze leefomgeving en in onze levensstijl kunnen gaan optreden. Kleine zaken, grote gevolgen. Tot slot heb ik u mijn plannen ontvouwd voor een tweetal concrete projecten. Hiermee wil ik proberen te helpen met het toepassen van MST-technologie bij bedrijven en in de medische wereld. Door het onderwijs aan concrete projecten te koppelen, wil ik het onderwerp MST aantrekkelijk maken voor de studenten. Studenten die kiezen voor een vak met toekomst. Die toekomst begint nu.
