{"id":85023,"date":"2025-08-13T10:00:00","date_gmt":"2025-08-13T08:00:00","guid":{"rendered":"https:\/\/aktuelles.uni-frankfurt.de\/?p=85023"},"modified":"2025-07-30T12:13:56","modified_gmt":"2025-07-30T10:13:56","slug":"wenn-die-ki-mit-gestik-trainiert-wird","status":"publish","type":"post","link":"https:\/\/aktuelles.uni-frankfurt.de\/en\/forschung\/wenn-die-ki-mit-gestik-trainiert-wird\/","title":{"rendered":"Wenn die KI mit Gestik trainiert wird"},"content":{"rendered":"

Ein Teilprojekt im Schwerpunktprogramm \u00bbVisuelle Kommunikation\u00ab versucht, K\u00f6rpersprache analysierbar zu machen<\/h2>\n\n\n\n
<\/div>\n\n\n\n
\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n<\/figure>\n\n\n\n

Gestik hilft den Menschen, einander besser zu verstehen. Auch f\u00fcr die Verst\u00e4ndigung zwischen Mensch und Maschine wird sie immer wichtiger. <\/em>
Alle Fotos: Uwe Dettmar; alle anderen Bilder: Technology Lab<\/em><\/p>\n\n\n\n

<\/div>\n\n\n\n

Visuelle Kommunikationsmittel wie Gestik und Mimik sind uralte Formen menschlicher Verst\u00e4ndigung. Wer spricht, reiht nicht nur W\u00f6rter oder S\u00e4tze aneinander, sondern nutzt daf\u00fcr auch H\u00e4nde, Arme, Kopf und Gesicht. Seit 2021 erforscht das DFG-Schwerpunktprogramm ViCom an der Goethe-Universit\u00e4t diese nonverbalen Kan\u00e4le. Ein Teilprojekt untersucht die Bedeutung von K\u00f6rpersprache mithilfe von Aufzeichnungsmethoden der Virtuellen Realit\u00e4t (VR).<\/strong><\/p>\n\n\n\n

Der Sprung vom B\u00fcro im Fachbereich Informatik in die virtuelle Welt dauert nur wenige Sekunden: VR-Brille auf und schon steht die Probandin (in diesem Fall die Autorin) als Avatar auf der Stra\u00dfe, die durch eine kleine Stadt f\u00fchrt \u2013 vorbei an einer Kapelle, durch den Park, hin zur Kirche und dann bis zum Rathaus. Danach soll sie einem anderen Probanden diesen Weg beschreiben, damit er ihn problemlos findet.<\/p>\n\n\n\n

F\u00fcr den Frankfurter Computerlinguisten und Informatiker Prof. Alexander Mehler, den Linguisten Dr. Andy L\u00fccking und den Informatiker Dr. Alexander Henlein k\u00f6nnen die Dialoge im VR-Labor wertvolle Erkenntnisse liefern: Welche Rolle spielen Gestik und Mimik bei der Wegbeschreibung? Wie wird gesprochene Sprache mit Zeigebewegungen, Gesichtsaus\u00addr\u00fccken oder anderen nonverbalen Hinweisen kombiniert? Welche Route nimmt der zweite Proband, und was hilft ihm, ans Ziel zu kommen? Diese Fragen wollen die Forscher im Projekt GeMDiS (Virtual Reality Sustained Multimodul Distributional Semantics for Gestures in Dialogue) beantworten.<\/p>\n\n\n\n

<\/div>\n\n\n\n
\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n<\/div>\n\n\n\n

Zeigen \u2013 schon in fr\u00fcher Kindheit eine eindeutige Geste, die der Computer mithilfe von VR-Technologie erst lernen muss.<\/em><\/p>\n\n\n\n

<\/div>\n\n\n\n

Gesten: lange Zeit kein Thema in der Linguistik<\/h3>\n\n\n\n

Galten Gesten in der Sprachforschung lange Zeit als reines Beiwerk verbaler \u00c4u\u00dferungen, wei\u00df man heute, dass sie sehr viel mehr sind als das. Es ist ein Unterschied, ob ein Gast im Restaurant ruft, \u203adas Essen ist versalzen\u2039, oder ob er dazu mit der Faust auf den Tisch schl\u00e4gt. \u00bbWir nutzen Gestik und Mimik, weil wir damit mehr Informationen vermitteln k\u00f6nnen und Kommunikation effizienter wird\u00ab, sagt Alexander Mehler und nennt ein weiteres Beispiel: \u00bbWenn ich mit meinem Gespr\u00e4chspartner \u00fcber eine bestimmte Pflanze reden will, dann blicke oder zeige ich automatisch in die entsprechende Richtung. So erleichtere ich die Identifikation des Objekts, ohne viele Worte zu verlieren.\u00ab<\/p>\n\n\n\n

Genau das machen auch die meisten Probanden und Probandinnen bei ihren Weg\u00adbeschreibungen in den VR-Versuchen. Das GeMDiS-\u00adTeam hat in zahlreichen Experimenten beobachtet, dass etwa beim Wort \u203aKirche\u2039 die H\u00e4nde h\u00e4ufig einen spitzen Winkel formen, um so das Dach n\u00e4her zu beschreiben. Ein Teich in der virtuellen Landschaft kann gestisch mit einem kreisenden Finger gekoppelt werden. Die These des Projekts: Je h\u00e4ufiger Proband A gesprochene Sprache mit Gestik und Mimik koppelt, desto besser findet Proband B seinen Weg.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Eingeschr\u00e4nkte Gestik \u2013 weniger Verst\u00e4ndigung<\/h3>\n\n\n\n

Mittels Virtual-Reality-Technologie kann das GeMDiS-Team auch untersuchen, was geschieht, wenn K\u00f6rpersprache nur eingeschr\u00e4nkt m\u00f6glich ist. So kann beispielsweise durch Manipulation der Audio- und Videoausg\u00e4nge der VR-Brille die H\u00f6r- beziehungsweise Sehf\u00e4higkeit von Probanden und Probandinnen beeinflusst werden. Innerhalb der VR-Umgebung kann zudem darauf Einfluss genommen werden, inwieweit sie Objekte virtuell greifen und verwenden k\u00f6nnen: In einem der Experimente war es zum Beispiel nicht mehr m\u00f6glich, eine virtuelle Tasse vom Tisch zu nehmen. Die Forscher fanden heraus, dass solche Einschr\u00e4nkungen der Handlungsf\u00e4higkeit starke Effekte auf die Kommunikation haben, die sich bei technischen Einschr\u00e4nkungen der H\u00f6r- und Sehqualit\u00e4t hingegen gerade nicht zeigen: Probandinnen und Probanden, deren Interaktionsm\u00f6glichkeiten beschnitten sind, bewegen sich deutlich weniger in der virtuellen Welt, sie reden mehr \u00fcber ihre Erfahrungen dort und bewerten ihr Erlebnis mit dem Experiment insgesamt negativer.

Jeweils etwa 25 Minuten dauert ein Versuchsdurchgang in Experimenten dieser Art. Anschlie\u00dfend schaut sich das GeMDiS-Team die Bildfolgen genau an und analysiert sie. Der Computer liefert Daten von Hand- und Gesichtsbewegungen aus dem dreidimensionalen Raum. Damit werden im Verlauf des Projekts Modelle f\u00fcr K\u00fcnstliche Intelligenz (KI) trainiert. Die KI erkennt, wenn sich Beispiele h\u00e4ufen \u2013 wenn also bei der Wegbeschreibung ein Wort wie \u203aBaum\u2039 oder \u203aKreuzung\u2039 h\u00e4ufig mit einer bestimmten Geste kombiniert wird.<\/p>\n\n\n\n

<\/div>\n\n\n\n
\n
\n

AUF DEN PUNKT GEBRACHT<\/p>\n\n\n\n