Perfekte Synchronisation: KI passt die Lippenbewegungen der Schauspieler an

Der Regisseur Scott Mann hat mit „The Tournament“ und „Final Score“ bereits zwei durchaus beachtete Kinofilme veröffentlicht. Diese wurden jeweils auch in Ländern außerhalb der Vereinigten Staaten gezeigt. Teilweise kamen dabei Untertitel zum Einsatz, teilweise wurden die Filme aber auch synchronisiert. Mann selbst ist aber kein großer Fan dieser Neuvertonungen. Der Grund: Selbst wenn die Dialoge bei der Übersetzung entsprechend angepasst werden, passen die Lippenbewegungen anschließend nicht mehr zu den vermeintlich gesprochenen Worten. Laut Mann stellt dies für viele Regisseure ein enormes Ärgernis dar. Gemeinsam mit der Firma Flawless hat der Regisseur daher ein Verfahren entwickelt, um die Lippenbewegungen auch bei bereits abgedrehten Szenen beliebig verändern zu können. Die dahinter stehende Technologie ähnelt dabei ein wenig den „Deepfake-Manipulationen“, die im vergangenen Jahr weltweit für Schlagzeilen sorgten.

Die Lippenbewegungen werden exakt angepasst

Dabei wurden Reden und Aussagen von prominenten Persönlichkeiten so verändert, dass sie mit der ursprünglichen Intention nichts mehr gemeinsam hatten. Bei der geplanten verbesserten Synchronisation soll das ursprüngliche Zitat hingegen möglichst genau übersetzt werden. Deswegen werden die Passagen von einem weiteren Schauspieler noch einmal in seiner Muttersprache eingesprochen. Die Lippenbewegungen sowie weitere relevante Teile des Gesichts werden dann aus dem entstanden Video herausgeschnitten. Anschließend werden sie im Originalfilm mit den dort bereits existierenden Gesichtern vermischt. Dadurch entsprechen im Idealfall die Lippenbewegungen exakt den gesagten Worten. Filmliebhaber und Cineasten müssen sich somit nicht mehr über die leichten Abweichungen ärgern. Ob auch die Zuschauer die neue Form der Synchronisation gutheißen, müsste allerdings zunächst noch getestet werden. Die ersten veröffentlichen Videos sehen allerdings bereits recht gut aus.

Der Aufwand für die Synchronstudios erhöht sich durchaus

Trotzdem ist die Anpassung auch bei den neu synchronisierten Ausschnitten von „Forrest Gump“ oder „Eine Frage der Ehre“ noch nicht perfekt. In diesen sind jeweils gleich mehrere Sprachen hintereinander zu sehen – darunter unter anderem Deutsch, Französisch und Japanisch. Doch beim betrachten der Videos wird schnell klar, dass hier irgendetwas nicht auf natürliche Art und Weise verändert wurde. Dabei soll es sich allerdings noch um Kinderkrankheiten der vergleichsweise modernen Technologie handeln. Die Entwickler versprechen jedenfalls, dass man schon in wenigen Jahren gar keinen Unterschied mehr sehen können wird. Ob die zahlrechen Filmverleiher die Technik dann allerdings tatsächlich nutzen werden, bleibt zunächst noch abzuwarten. Denn die Synchronisation wird durch den neuen Ansatz zwar tatsächlich besser und realitätsnäher. Gleichzeitig erhöht sich aber auch der Aufwand.

Via: Wired