Automatische vertaling tussen gebarentalen en gesproken talen

SignON, een drie jaar durend project om de communicatie tussen horenden, doven en slechthorenden te ondersteunen, heeft 5,6 miljoen euro financiering gekregen van de Europese Commissie (Horizon 2020).

Het SignON EU consortium bestaat uit 17 Europese partners,  gecoördineerd door prof. Andy Way van Dublin City University (Ierland) en dr. Dimitar Shterionov van de Universiteit van Tilburg (Nederland). Het consortium kreeg deze financiering om baanbrekend onderzoek uit te voeren en zo te komen tot een mobiele oplossing voor automatische vertaling tussen gebarentalen en gesproken (en geschreven) talen. 

Een groot deel van dit consortium bestaat uit Nederlandse en Vlaamse partners, en zowel Vlaamse als Nederlandse Gebarentaal als het Nederlands als gesproken taal spelen een prominente rol in het project. Deze partners zijn het Instituut voor de Nederlandse Taal, de Nederlandse Taalunie, de universiteiten van Tilburg, Nijmegen, Leuven en Gent, de VRT en last but not least het Vlaamse Gebarentaalcentrum (VGTC). Er wordt ook samengewerkt met het Nederlands Instituut voor Beeld en Geluid.

SignON is een gebruikersgericht en gemeenschapsgestuurd project dat tot doel heeft de communicatie tussen doven, slechthorenden en horenden in heel Europa te vergemakkelijken. In het project wordt gefocust op de Ierse, Britse, Nederlandse, Vlaamse en Spaanse gebarentalen en Engels, Iers, Nederlands, en Spaans als gesproken talen. 

Vanuit de samenwerking met gemeenschappen van doven en slechthorenden, kunnen de onderzoekers gericht noden identificeren en nuttige toepassingen afbakenen. De SignON-service en -toepassing kan hierdoor gezamenlijk ontwikkeld worden en rechtstreeks door de betrokken gebruikers worden geëvalueerd. Het doel van het onderzoeksproject is de eerlijke, onbevooroordeelde en inclusieve verspreiding van informatie en digitale inhoud in de Europese samenleving.

De SignON-communicatiedienst zal meer zijn dan een geavanceerd automatisch vertaalsysteem. Achter de schermen zal SignON hedendaagse machine learning (AI) integreren waarmee (i) gemakkelijk bijkomende gebarentalen en gesproken talen kunnen worden toegevoegd; (ii) stijl-, domein- en gebruikersaanpassing mogelijk zijn en (iii) automatische foutcorrectie, gebaseerd op gebruikersfeedback, beschikbaar is. Aan de dove gebruiker levert SignON in de eigen gebarentaal gevoerde gesprekken via een levensechte avatar die is gebouwd met de nieuwste grafische technologieën. Voor de horende gebruiker verloopt het gesprek in de eigen geschreven of gesproken taal.

Om de automatische vertaling tussen gebarentalen en gesproken talen breed toegankelijk te maken, zal de SignON-service ontwikkeld worden als smartphone-applicatie die op moderne standaardapparaten draait. Omdat de applicatie is ontworpen als een lichtgewicht interface, zal het SignON-framework worden gedistribueerd naar de cloud, waar de rekenintensieve taken zullen worden uitgevoerd. 

De coördinator, Prof. Andy Way (Dublin University) zegt over het project:

“Toen ik 15 jaar geleden voor het eerst aan automatische vertaling van gebarentaal  werkte, was het onderzoeksdomein erg klein. In 2022 zal  een speciale uitgave van het tijdschrift Machine Translation verschijnen, gewijd aan dit onderwerp. Nu Irish Sign Language een volwaardige officiële taal is in Ierland, is het geweldig om te zien dat dit werk blijft bloeien. Ik ben verheugd om het SignON-project te coördineren, dat een gratis, open applicatie en raamwerk zal ontwikkelen voor conversie tussen video (vastleggen en begrijpen van gebarentaal), audio en tekst en vertaling tussen gebarentaal en gesproken taal. “

Het SignON-project start op 1 januari 2021 en het consortium recruteert momenteel een breed scala aan experts op het gebied van Natural Language Processing (NLP), Machine Learning (ML), Deep Learning (DL), Machine Translation (MT), Linguistics , Dovenstudies, onderwijs, 3D-graphics en anderen om het SignON-team te versterken.

SignON Partners

• Dublin City University (DCU) – coördinator, Ierland; 
• Fincons Group (FINC), Zwitserland; 
• Instituut voor de Nederlandse Taal (INT), Nederland; 
• University of the Basque Country (UPV/EHU), Spanje; 
• The National Microelectronics Applications Centre Ltd (MAC), Ierland; 
• Pompeu Fabra University (UPF), Spanje; 
• Technological University Dublin (TUDublin), Ierland; 
• Trinity College Dublin (TCD), Ierland; 
• VRT, België; 
• Universiteit Gent (UGent), België; 
• Vlaams GebarentaalCentrum (VGTC), België;
• University College Dublin (UCD), Ierland; 
• Radboud Universiteit (RU), Nederland; 
• Nederlandse TaalUnie (NTU), Nederland; 
• KU Leuven, België; 
• European Union of the Deaf (EUD), België; 
• Tilburg University (TiU) – wetenschappelijke leiding, Nederland.