Videomanipulation Software überträgt Mimik live von Gesicht zu Gesicht

Eine neu entwickelte Software erlaubt Zauberei mit Mimik: Sie wird von einem Gesicht auf ein anderes übertragen - in Echtzeit. Steht uns demnächst die Auferstehung verstorbener Schauspieler ins Haus?

Von


Der Papst soll wilde Grimassen schneiden, ein Sportfunktionär vor laufender Kamera seinen Rücktritt verkünden? Gar nicht so unwahrscheinlich, denn die passende Software gibt es schon. Der Informatiker Justus Thies hat im Rahmen seiner Dissertation gemeinsam mit Forschern der Universitäten von Erlangen-Nürnberg und Stanford und dem Max-Planck-Institut für Informatik ein Programm entwickelt, das Gesichtsausdrücke erfassen und auf eine beliebige andere Physiognomie übertragen kann.

Besonders faszinierend: Der Prozess läuft trotz des hohen Rechenaufwands in Echtzeit ab. Alle Gesichtsbewegungen des Originals werden mit einer speziellen Softwaretechnik auf das Zielgesicht übertragen. Jedes Lächeln, jede hochgezogene Augenbraue, oder auch aufgeblasene Backen, erscheinen in exakter Entsprechung beim Ziel.

Fotostrecke

4  Bilder
Physiognomie: Mein Gesicht oder deins?
Dazu wird die Oberfläche beider Gesichter genau vermessen. Das Prinzip erklären die Forscher SPIEGEL ONLINE so: "Mittels einer handelsüblichen RGB-D Kamera (zum Beispiel Microsoft Kinect oder Asus Xtion Pro), die im Gegensatz zu konventionellen Farbkameras noch zusätzlich Tiefendaten aufzeichnet, kann unsere Methode sehr einfach ein Modell eines Gesichtes (3D-Form und Textur) erzeugen." Der Kalibrierprozess dauere weniger als fünf Sekunden.

Handelsübliche Kameras genügen

Bei der Erfassung wird mit einem über das Gesicht gelegten Gitternetz von Messpunkten jede Bewegung aufgezeichnet. Das Kamerasystem sammelt weitere Informationen wie Licht, Schattenwurf und die Reflexionen der Haut.

Das Arbeiten mit dem Gitternetz erlaubt es, Bewegungsabläufe auch auf anders geformte Gesichter zu übertragen. Es spielt also keine Rolle, wenn das Originalgesicht einer zierlichen Frau mit Stupsnase gehört, das Ziel aber ein kräftiger Mann mit großer Knollennase und breitem Schädel ist.

Diese Übertragung läuft zwischen zwei virtuell erzeugten Gesichtsmodellen ab, die aber dank der Live-Erfassung das tatsächliche Gesicht abbilden. In einem weiteren Schritt ist es sogar möglich, Gesichtsausdrücke zu mischen. So kann das Originalgesicht zum Beispiel den Mund wie beim Sprechen öffnen und schließen, ansonsten aber unbewegt bleiben. Die erfasste Zielperson hingegen dreht den Kopf hin und her und reißt dabei die Augen auf. Das Ergebnis des Übertragungsprozesses vereint alle diese Aspekte miteinander.

Die Auswahl des Zielgesichts ist beliebig; Geschlecht, Bart- und Haarwuchs, Make-up und Schmuck können nach Geschmack hinzugefügt und verändert werden.

Hier sehen Sie das vollständige Video, in dem die Forscher ihre Vorgehensweise erläutern:

YouTube
Keine Wiederauferstehung der Filmstars von einst

Allerdings hat die Übertragung noch ihre Grenzen. Wenn von einer nicht anwesenden Person kein Video im Standard RGB-D existiert, funktioniert das System nicht. RGB-D enthält neben Farb- und Flächeninformationen auch solche über die Tiefe des Bildes. Das System zur Mimik-Übertragung setzt die von den Spezialkameras gelieferten Tiefeninformationen voraus. Am einfachsten bleibt der Übertragungsprozess bei zwei anwesenden Menschen, die vor Ort live vermessen werden können.

Mangels dieser speziellen Tiefendaten dürfte die Wiederauferstehung von längst verstorbenen Filmstars auf absehbare Zeit nicht möglich sein. Neue Blockbuster mit Marilyn Monroe oder Humphrey Bogart bleiben also einstweilen ein Traum. Wenn aber mithilfe spezieller Hardware die entsprechenden Daten vorliegen, kann das Material zur Postproduktion eingesetzt werden.

Dabei ergeben sich interessante Anwendungsmöglichkeiten für die Filmbranche, etwa bei der Nachvertonung in verschiedenen Sprachen. Bei derzeitigen Synchronisierungen wird die übersetzte Sprache an die Gesichtsbewegungen angepasst. Dabei gehen entscheidende Nuancen in der Übersetzung verloren. Mittels der Übertragungsmethode könnte das Video auf die übersetzte Sprache abgestimmt werden.

Da mit der Übertragungstechnik sozusagen eine falsche oder fremde Mimik auf ein anderes Gesicht aufgespielt wird, liegen auch alle Parameter vor, um bei Videosequenzen etwaige Fälschungen zu erkennen. Die Forscher: "Wir denken, dass die von uns entwickelte Technik auch im Bereich der Digitalen Forensik eingesetzt werden kann, um die Echtheit von Videos zu überprüfen."

Wenn also Angela Merkel demnächst erstaunliche Erklärungen abgibt, schauen Sie genau hin. Vielleicht ist sie es ja gar nicht.

Mehr zum Thema


Forum - Diskutieren Sie über diesen Artikel
insgesamt 6 Beiträge
Alle Kommentare öffnen
Seite 1
Leser161 23.10.2015
1. Nein, aber
Wir sollten aus diesem Artikel lernen das alles was digital ist, in einer Qualität manipuliert werden kann, das der Mensch die Fälschung nicht mehr erkennen kann. Was uns dazu führt das alle digitale Überwachung für die Katz ist. Denn alles beklastende Material nützt mir nichts wenn dessen Echtheit nicht zu belegen ist.
felisconcolor 23.10.2015
2. jap
"Wenn also Angela Merkel demnächst erstaunliche Erklärungen abgibt, schauen Sie genau hin. Vielleicht ist sie es ja gar nicht." das wirds sein. Ich lasse mich dann bei Videokonferenzen doubeln und gehe lieber golfen. Nur muss man immer mehr davon ausgehen das alles was irgendwo digital verbreitet wird keinesfalls mehr als Original zu bertrachten ist. Es sei denn man faked Kampfflugzeuge oder Raketenabschüsse ;-)
Beorn 23.10.2015
3. Auferstehung ...
... vergangener Filmstars wäre recht gut möglich, wenn man statt des nicht zur Verfügung stehenden RGB-D Videomaterials der alten Stars diese manuell in 3D nachmodelliert. Dauert zwar ein wenig, aber für eine 3D-Künstler auf alle Fälle machbar.
tauberman 23.10.2015
4. Wer berühmt genug ist...
den findet man bei Madame Tussaud in 3D
spon_2485973 24.10.2015
5.
Tiefeninformatiomen lassen sich 2D Bewegtdaten ermitteln. Eine ähnliche Technik gab es vor mehr als 10 Jahren bereits auf 2D.
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2015
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.