"Alexa, sprich meine Worte aus!"

Signs heisst ein Projekt des Bundesjugend-Verbandes junger Menschen mit Hörbehinderung und LAB 13, einer Unit der Digitalagentur MRM//McCann. Auf den ersten Blick scheint es paradox: Signs soll es Sprachassistenten wie Amazon Alexa ermöglichen, die Gebärdensprache Gehörloser zu interpretieren und in gesprochenes Wort umzusetzen.

Der umgekehrte Weg ist ebenfalls vorgesehen: Der Sprachassistent empfängt Sprachbefehle und sendet sie entweder als Text oder in Form von Grafiksymbolen an einen angeschlossenen Computer.

Das Smart Tool basiert auf einem Machine Learning Framework. Gebärden werden von einem Computer mit Hilfe einer integrierten Kamera identifiziert und in ein Data-Format konvertiert, das Sprachassistenten verstehen. Das Smart Tool kann problemlos mit Alexa, Google Assistant oder Microsoft Cortana verbunden werden und funktioniert auf jedem browserbasierten Betriebssystem mit integrierter Kamera wie Laptops oder Tablets. Die Sprachassistenten verarbeiten die Signs Daten dann in Echtzeit und können Signs direkt antworten.

So funktioniert Signs:

"Sprachsteuerung verändert unsere Art einzukaufen, im Internet zu recherchieren und zu kommunizieren. Mit Signs können wir die natürliche Kommunikationsform einer Gruppe von Menschen unterstützen, die bisher nur bedingt Zugang zu vielen Assistenzsystemen hatte“, sagt Mark Hollering, Director Creative Technology, MRM//McCann, und Leiter des LAB13. 

Die beteiligten Partner wollen Signs langfristig als allgemein zugängliche Software und auch für Smartphones zur Verfügung stellen, die Software soll dann auch weltweit neue Gebärden und Gebärdensprachen lernen.