SPIEGEL ONLINE

Videomanipulation Software überträgt Mimik live von Gesicht zu Gesicht

Eine neu entwickelte Software erlaubt Zauberei mit Mimik: Sie wird von einem Gesicht auf ein anderes übertragen - in Echtzeit. Steht uns demnächst die Auferstehung verstorbener Schauspieler ins Haus?

Der Papst soll wilde Grimassen schneiden, ein Sportfunktionär vor laufender Kamera seinen Rücktritt verkünden? Gar nicht so unwahrscheinlich, denn die passende Software gibt es schon. Der Informatiker Justus Thies hat im Rahmen seiner Dissertation gemeinsam mit Forschern der Universitäten von Erlangen-Nürnberg und Stanford und dem Max-Planck-Institut für Informatik ein Programm entwickelt , das Gesichtsausdrücke erfassen und auf eine beliebige andere Physiognomie übertragen kann.

Besonders faszinierend: Der Prozess läuft trotz des hohen Rechenaufwands in Echtzeit ab. Alle Gesichtsbewegungen des Originals werden mit einer speziellen Softwaretechnik auf das Zielgesicht übertragen. Jedes Lächeln, jede hochgezogene Augenbraue, oder auch aufgeblasene Backen, erscheinen in exakter Entsprechung beim Ziel.

Fotostrecke

Physiognomie: Mein Gesicht oder deins?

Foto: YouTube

Dazu wird die Oberfläche beider Gesichter genau vermessen. Das Prinzip erklären die Forscher SPIEGEL ONLINE so: "Mittels einer handelsüblichen RGB-D Kamera (zum Beispiel Microsoft Kinect oder Asus Xtion Pro), die im Gegensatz zu konventionellen Farbkameras noch zusätzlich Tiefendaten aufzeichnet, kann unsere Methode sehr einfach ein Modell eines Gesichtes (3D-Form und Textur) erzeugen." Der Kalibrierprozess dauere weniger als fünf Sekunden.

Handelsübliche Kameras genügen

Bei der Erfassung wird mit einem über das Gesicht gelegten Gitternetz von Messpunkten jede Bewegung aufgezeichnet. Das Kamerasystem sammelt weitere Informationen wie Licht, Schattenwurf und die Reflexionen der Haut.

Das Arbeiten mit dem Gitternetz erlaubt es, Bewegungsabläufe auch auf anders geformte Gesichter zu übertragen. Es spielt also keine Rolle, wenn das Originalgesicht einer zierlichen Frau mit Stupsnase gehört, das Ziel aber ein kräftiger Mann mit großer Knollennase und breitem Schädel ist.

Diese Übertragung läuft zwischen zwei virtuell erzeugten Gesichtsmodellen ab, die aber dank der Live-Erfassung das tatsächliche Gesicht abbilden. In einem weiteren Schritt ist es sogar möglich, Gesichtsausdrücke zu mischen. So kann das Originalgesicht zum Beispiel den Mund wie beim Sprechen öffnen und schließen, ansonsten aber unbewegt bleiben. Die erfasste Zielperson hingegen dreht den Kopf hin und her und reißt dabei die Augen auf. Das Ergebnis des Übertragungsprozesses vereint alle diese Aspekte miteinander .

Die Auswahl des Zielgesichts ist beliebig; Geschlecht, Bart- und Haarwuchs, Make-up und Schmuck können nach Geschmack hinzugefügt und verändert werden.

Hier sehen Sie das vollständige Video, in dem die Forscher ihre Vorgehensweise erläutern:

YouTube/Matthias Niessner

Keine Wiederauferstehung der Filmstars von einst

Allerdings hat die Übertragung noch ihre Grenzen. Wenn von einer nicht anwesenden Person kein Video im Standard RGB-D existiert, funktioniert das System nicht. RGB-D enthält neben Farb- und Flächeninformationen auch solche über die Tiefe des Bildes. Das System zur Mimik-Übertragung setzt die von den Spezialkameras gelieferten Tiefeninformationen voraus. Am einfachsten bleibt der Übertragungsprozess bei zwei anwesenden Menschen, die vor Ort live vermessen werden können.

Mangels dieser speziellen Tiefendaten dürfte die Wiederauferstehung von längst verstorbenen Filmstars auf absehbare Zeit nicht möglich sein. Neue Blockbuster mit Marilyn Monroe oder Humphrey Bogart bleiben also einstweilen ein Traum. Wenn aber mithilfe spezieller Hardware die entsprechenden Daten vorliegen, kann das Material zur Postproduktion eingesetzt werden.

Dabei ergeben sich interessante Anwendungsmöglichkeiten für die Filmbranche, etwa bei der Nachvertonung in verschiedenen Sprachen. Bei derzeitigen Synchronisierungen wird die übersetzte Sprache an die Gesichtsbewegungen angepasst. Dabei gehen entscheidende Nuancen in der Übersetzung verloren. Mittels der Übertragungsmethode könnte das Video auf die übersetzte Sprache abgestimmt werden.

Da mit der Übertragungstechnik sozusagen eine falsche oder fremde Mimik auf ein anderes Gesicht aufgespielt wird, liegen auch alle Parameter vor, um bei Videosequenzen etwaige Fälschungen zu erkennen. Die Forscher: "Wir denken, dass die von uns entwickelte Technik auch im Bereich der Digitalen Forensik eingesetzt werden kann, um die Echtheit von Videos zu überprüfen."

Wenn also Angela Merkel demnächst erstaunliche Erklärungen abgibt, schauen Sie genau hin. Vielleicht ist sie es ja gar nicht.

Die Wiedergabe wurde unterbrochen.