Künstliche Intelligenz: Neuartiges lernfähiges Netzwerk kommt mit nur einem Neuron aus

Neuronale Netzwerke bestehen normalerweise aus tausenden miteinander verknüpfter künstlicher Neuronen. ForscherInnen haben nun ein solches Netzwerk entwickelt, das mit nur einem künstlichen Neuron arbeitet und dennoch so rechenstark ist wie Netzwerke mit tausenden Neuronen. Dabei werden die räumlichen Verbindungen im Netzwerk durch zeitliche Verzögerungen ersetzt. So nimmt das eine vorhandene künstliche Neuron nacheinander die Rolle diverser Knoten ein, womit ein Netzwerk in der Zeit statt im Raum geschaffen wird.

Neuronale Netze: Herausforderungen Energieverbrauch und Rechenzeit

Lernfähigen Computersystemen kommt in der Wissenschaft immer mehr Bedeutung zu. Sie können etwa Proteincodes knacken, große Datenmengen verwerten und analysieren oder Gehirnsignale auslesen. Derartige Systeme basieren häufig auf neuronalen Netzwerken, die aus diversen Rechenknoten bestehen, die miteinander verschaltet sind. Das Netzwerk lernt dann, indem es auf Basis vergangener Events Verbindungen, die zu richtigen Entscheidungen führen, mit der Zeit stärker gewichtet als andere.

Wenn solche neuronale Netzwerke allerdings in Computern auf der Software-Ebene nachgebildet werden, werden große Mengen an Energie benötigt. Allein die Trainingsphase des aktuell führenden KI-Programms zur Spracherzeugung erzeugt so viel CO2 wie 700.000 mit dem Auto zurückgelegte Kilometer.

Neuronale Netzwerke können auch physikalisch mit Hardware nachgebildet werden. Jedes künstliche Neuron entspricht dann einem Halbleiter-Bauelement oder wird durch Laser optisch ermöglicht. Allerdings sind der Größe und Komplexität der Netzwerke dann Grenzen gesetzt – mehr als einige tausend künstliche Nervenzellen können nur in Supercomputern umgesetzt werden. Rechenzeit an solchen Computern ist allerdings eine wertvolle Ressource.

Zeit statt Raum

Ein Team rund um Florian Stelzer von der Technischen Universität Berlin hat nun eine innovative Lösung für die Umsetzung neuronaler Netze entwickelt. Statt ein Netzwerk aus räumlich miteinander verbundenen Knotenpunkten zu verwenden, setzen sie auf ein einziges, per Software programmiertes Neuron, das zeitlich versetzt angesteuert und ausgelesen werden kann. So nimmt das künstliche Neuron innerhalb von Sekundenbruchteilen die Rolle aller benötigten Knotenpunkte ein.

So haben die ForscherInnen eine neue klasse neuronaler Netze geschaffen, in der die Verschaltung nicht räumlich realisiert wird, sondern zeitlich. Die Wissenschaftler bezeichnen ihr System als „Folded-in-time Deep Neural Network“ (Fit-DNN).

Wenn ein normales neuronales Netzwerk lernt, wird die Bedeutung verschiedener Verknüpfungen mit der Zeit unterschiedlich bewertet. Bei dem neuen Netzwerk wird dieser Effekt durch die Zeitverzögerung umgesetzt. „Das Neuron interagiert dabei statt mit anderen Knoten mit seinen eigenen verzögerten Zuständen„, so das Team.

Die Umsetzung des Systems könnte dabei auch auf Hardwarebasis erfolgen. „Für eine Realisierung in Hardware kämen vor allem laserbasierte Schaltungen in Frage, weil diese so schnell sind, dass die Zeitverzögerungen besonders kurz ausfallen. Dass das prinzipiell möglich ist, haben wir jetzt im Computer gezeigt„, so Stelzer.

Erste Tests liefen erfolgreich

Das Fit-DNN-System konnte sich bereits in ersten Tests bewähren. Dabei stellte sich heraus, dass es auch die verschiedenen Netzwerkebenen tiefer neuronaler Netze simulieren kann. So löste das Netzwerk der ForscherInnen beispielsweise erfolgreich eine für neuronale Netzwerke typische Aufgabe, bei der es unkenntlich gemachte Bilder von Kleidungsstücken wieder rekonstruieren konnte. Zwar viel das Ergebnis etwas schlechter als bei hochkomplexen, räumlich konstruierten neuronalen Netzen aus, aber die WissenschaftlerInnen bezeichnen ihr System als ausbaufähig.

Das Team geht davon aus, dass ihr System neue Möglichkeiten für lernfähige KI-Systeme eröffnet. Außerdem könne mit dem zeitlich verschalteten neuronalen Netzwerk die Effizienz klassischer Netze erhöhen, indem man beide Methoden miteinander kombiniert. „Indem man zusätzliche räumliche Knoten in der Fit-DNN einfügt, könnte man je nach Aufgabe und Plattform die optimale Kombination aus zeitlichen und räumlichen Knoten nutzen„, so die Forschenden.

via TU Berlin