Im Rahmen des Projektes werden computergestützten Methoden zum Lippenlesen menschlicher Aussprache erfasst. Dabei wird eine Videosequenz der Mundpartie eines menschlichen Sprechers ausgewertet, um zu erkennen, was gesagt wird. Die reine Bildauswertung ist im Gegensatz zu audiobasierten Verfahren unempfindlich gegen Störgeräusche aus der Umgebung. So können z.B. bei der Sprachsteuerung von Autoradios oder Autotelefonen die Fahrgeräusche so laut sein, dass eine verlässliche Eingabe nicht mehr möglich ist. Darüber hinaus gibt es natürlich noch viele andere Anwendungsgebiete wie z. B. in Flugzeugcockpits.
Bei dem Verfahren werden vorwiegend Veränderungen in der Mundstellung - z.B. beim Öffnen und Schließen - kategorisiert, um eine Zuordnung der Aussprache zu erreichen. Mittels einer mathematischen Transformation werden Werte reduziert, damit ein effizienter Vergleich von aktueller Aussprache mit bekannten Mustern möglich ist.
Um Fehlerkennungen zu minimieren, bedient man sich gerne bestimmter Einschränkungen.
Wollte man z.B. ein solches videobasiertes System benutzen, um stimmlos eine PIN in einen Bankautomaten einzugeben, würde man z.B. fordern, dass die Ziffern abgesetzt - als mit kurzen Sprechpausen - ausgesprochen werden. Um eine solche Eingabesequenz auszuwerten, muss das Video dann in die Einzeleingaben - das wären die einzelnen Ziffern - segmentiert werden.
Wie eine solche Segmentierung effizient und effektiv durchgeführt werden kann, daran forscht Frau Yau während ihres Gastaufenthaltes an der Berufsakademie Stuttgart. Das Verfahren wurde von Frau Yau unlängst auf einer internationalen wissenschaftlichen Tagung über Human-Computer Interfaces ("Mensch-Maschine- Kommunikation") in Lissabon vorgestellt.
Der Gastaufenthalt von Frau Yau wird gefördert von der Landesstiftung Baden- Württemberg.
Über ihr Forschungsprojekt hält Frau Yau am
Mittwoch, den 25.7.2007, 16:15 Uhr
einen Vortrag an der Berufsakademie Stuttgart, Tiefenhörsaal, Jägerstraße 58
(in englischer Sprache)
