"Journalistin: Guten Tag.

Synthetische Stimme: Guten Tag.

Journalistin: Ich freue mich sehr, Sie kennen zu lernen.

Synthetische Stimme: Ich freue mich auch.

Journalistin: Was tun Sie gerne im Alltag?

Synthetische Stimme: Ich mag bummeln, verreisen und Karikaturen."

Der Dialog zwischen einer Journalistin und dem taubstummen Mädchen Ma Yan grenzt an ein Wunder, dass dies durch das Erkennungs- und Integrationssystem der Zeichensprache geschehen kann. Diese wunderbare Anlage wurde vom Computertechnologieinstitut der chinesischen Wissenschaftsakademie entwickelt.

Die Journalistin bemerkte, dass dieses Sprachsystem für die Erkennung und Integration der Gebärdensprache im Grunde aus einem PC und einem mit dem Computer verbundenen speziellen Paar Handschuhen besteht. Nur einige Sekunden dauert es, bis einerseits die Zeichensprache von Ma Yan in verständliche Sprache umgewandelt wird und andererseits das Mandarin der Journalistin in Fingersprache auf dem PC dargestellt wird. Die Journalistin kommunizierte mit Ma Yan relativ reibungslos miteinander.

Dr. Chen Yiqiang, der an diesem Forschungsprojekt beteiligt war, teilte der Journalistin mit, dass das Geheimnis der Erkennung der Gebärdensprache halt in den scheinbar unauffälligen Handschuhen liegt. Sobald die Taubstummen diesen Handschuh anziehen, wird ihre Fingersprache ins Mandarin übersetzt.

"Die wichtigste Besonderheit dieser Handschuhe ist, dass sie sehr präzise die Handform darstellen können. Zum Beispiel können sie den Beugungsgrad und die Form der ausgebreiteten Hände ganz genau in digitale Signale ändern, die dann in den Computer gefüttert werden. Durch die Datenverarbeitung wird die Form der Hände und Finger erkannt. Die Daten werden zunächst in Textdateien gespeichert und dann in Sprachlaute umgewandelt."

Herr Chen analysierte, dass auf jedem Handschuh 18 modernste Sensoren und ein spezieller Zusammenfassungs-Chip montiert sind. Sie können die Form und Position der Hände nach einer gewissen Gesetzmäßigkeit in Signale, die der PC identifizieren kann, umwandeln. Unterschätzen Sie diese klitzekleinen Teilchen nur nicht! Gerade wegen ihrer hohen Genauigkeit kann dieses System über 5.000 Wörter wiedererkennen. Deshalb konnte eben die Fingersprache von Ma Yan von diesem einen Computer verstanden werden.

Wie konnte denn Ma Yan die Journalistin wiederum verstehen? Dr. Chen Yiqiang erklärte, dass die Übersetzung der menschlichen Stimme in die Fingersprache auf dem Bildschirm im Vergleich zur Erkennung der Fingersprache relativ einfach ist.

"Nun gibt es heute auf dem Markt jede Menge Software zur Spracherkennung. Diese Software kann den Sprachlaut kinderleicht in Textdateien wandeln. Unser Integrationssystem der Fingersprache sammelt durch ein Mikrophon den Sprachlaut, der dann durch entsprechende Software in Textdateien gewandelt wird. Anschließend kann ein "dreidimensionaler hypothetischer Mensch" im Computer die Textdateien in die Fingersprache umwandeln und sie den tauben Menschen auf dem Bildschirm anzeigen. So funktioniert die "translation machine"!

Nach bisherigen Testreihen können Taubstumme etwa 95 Prozent der gesprochenen Sprache verstehen, die in die Fingersprache umgewandelt und auf dem Bildschirm angezeigt wird. So können sich die Taubstummen durch das Zeichenspracherkennungs- und -integrationssystem im Alltagsleben mit normalen Menschen verständigen. Zur Zeit gibt es in China rund 20 Millionen Menschen, die mehr oder weniger taubstumm sind. Ihnen bietet dieses System zweifellos eine große Hilfe.

Frau Wang Lichun, Kollegin vom Dr. Chen, sagte, dass diese Datenhandschuhe sehr teuer und nicht allzu robust sind. Deshalb sollen diese Handschuhe durch ein spezielles Videokamera-Objektiv ersetzt werden. Wie man nun diesen Plan in die Wirklichkeit umsetzt, zählt zu dem nächsten Arbeitsschwerpunkt des Forschungsinstituts der Wissenschaftsakademie.