Realistische Filmgeräusche: Schlauer Algorithmus kann Bilder und Geräusche verknüpfen

Die Computertechnologie hat in den letzten Jahren und Monaten enorme Fortschritte gemacht. Doch noch immer ist es regelmäßig so, dass Roboter Fähigkeiten erlernen müssen, die für den Menschen ganz normal sind. Dies ist beispielsweise beim Fußballspielen der Fall, wo künstliche Maschinen frühestens im Jahr 2050 konkurenzfähig sein werden. Genau so verhält es sich aber auch bei der Orientierung. Der Mensch nutzt dazu seine verschiedenen Sinnesorgane und verknüpft diese Informationen dann miteinander. Robotern fehlt diese Fähigkeit hingegen noch. Selbstfahrende Autos sehen also im besten Fall die anderen Verkehrsteilnehmer – sie können sie aber nicht hören. Forscher des „Massachusetts Institute of Technology“ haben nun aber interessante Fortschritte auf diesem Gebiet gemacht.

Zuschauer konnten Original und Nachahmung nicht unterscheiden

Sie fütterten ein neurales Netzwerk mit insgesamt 977 Videos, auf denen jeweils ein simpler Vorgang zu sehen war. Beispielsweise ist dort zu sehen und zu hören, wie ein Stock über den Boden schleift. Weitere Informationen – etwa über die Beschaffenheit des Materials – erhielt die künstliche Intelligenz dabei nicht. Dennoch gelang es dem Algorithmus, bestimmten Vorgängen die richtigen Geräusche zuzuordnen. Auf diese Weise könnten dann beispielsweise die Hintergrundgeräusche bei Filmen ohne Tonspur digital nachgebildet werden. Bei ersten Versuchen gelang dies so gut, dass die menschlichen Zuschauer anschließend keinen Unterschied erkannten zwischen einer Originalaufnahme und der nachträglich vertonten Version.

Robotern könnten durch Geräusche die Orientierung erleichtert werden

Schon heute kommen einige Tönen in Filmen vom Band. Dies geschieht aber noch nicht vollautomatisch. Der nun geschaffene selbstlernende Algorithmus könnte aber so lange mit Informationen gefüttert werden, bis er irgendwann jeden Vorgang selbstständig vertonen kann. Langfristig soll die Technologie zudem so weiter entwickelt werden, dass sie Robotern bei der Orientierung hilft. So könnte der Algorithmus beispielsweise erkennen, dass ein Objekt ein bestimmtes Geräuch macht – was dann wiederum hilft dieses zu identifizieren und dessen Verhalten zu prognostizieren. Um beim Beispiel der selbstfahrenden Autos zu bleiben, könnten auf diese Weise beispielsweise Fahrzeuge mit Blaulicht identifiziert und die Fahrweise entsprechend angepasst werden.

Via: MIT News