Analoger Chip macht KI-basierte Sprachmodelle energieeffizienter

Forscher:innen von IBM konnten einen neuen Mikrochip entwickeln, der durch eine analoge Arbeitsweise den enorm hohen Stromverbrauch künstlicher Intelligenzen verringern könnte. Statt auf digitale Bits setzt der Chip auf Phasenwechsel eines Materials und erreichte so in ersten Tests eine Energieeffizienz von 12,4 Billionen Rechenoperationen pro Watt. Damit ist er 14 mal energiesparender als gängige Chips für KI-Anwendungen.

Sprachmodelle fressen Energie

Künstliche Intelligenz basiert heute oft auf großen Sprachmodellen. Diese KIs haben einen enormen Leistungssprung vollbracht und kommen der menschlichen Intelligenz teils verblüffend nahe. Sie können in der Wissenschaft, der Text- und Bildbearbeitung und teils sogar im kreativen Bereich eingesetzt werden. Sie haben allerdings auch einen deutlichen Nachteil: ihren Strombedarf. Das Training einer KI wie ChatGPT verschlingt etwa 1.300 Megawattstunden Strom.

Dieser enorme Stromverbrauch der künstlichen Intelligenzen hat unter anderem auch mit den für sie genutzten Prozessoren und Grafikkarten sowie deren Aufbau zu tun. Digitale Mikrochips setzen voraus, dass bei jeder Rechenoperation Daten vom Arbeitsspeicher zum Prozessor bewegt werden. Dieser elektronische Transfer kostet sowohl Energie als auch Zeit. Wie groß der Energieverlust ist, hängt maßgeblich auch von der Entfernung zwischen den einzelnen Bauteilen ab. Diese Problematik wird auch als Von-Neumann-Flaschenhals bezeichnet und ist zumindest mit den gängigen Bauteilen mit digitaler Infrastruktur nur sehr schwer zu beheben.

Analoge Chips als energieeffizientere Lösung

Sogenannte analoge Compute-in-Memory-Chips arbeiten anders als ihre digitalen „Kollegen“. In ihnen werden die Informationen nicht als Nullen und Einsen digital gespeichert, sondern in analoger Form — etwa als sich verändernde Widerstände oder andere Eigenschaften eines Materials. Diese analogen Chips sind ausgesprochen klein, sodass sie sich direkt in den Arbeitsspeicher des Systems integrieren lassen.

Ein Team rund um Stefano Ambrogio von IBM Research konnte nun einen solchen analogen Chip speziell für KI-Anwendungen entwickeln. Dieser Chip besteht aus 35 Millionen winzigen Einheiten aus einem Phasenwechseld-Material, das seinen Zustand abhängig von der Temperatur eines Heizkreises von kirstallin zu amorph und wieder zurück wechseln kann.

„Diese Phasenwechselmodule kodieren analoge Leitfähigkeitszustände, indem sie den Anteil ihrer kristallinen, leitfähigen und amorphen, weniger leitfähigen Phase entsprechend den zugeführten elektrischen Pulsen anpassen“, erklären die Forscher:innen. Der Phasenzustand des Materials bleibt auch ohne fließenden Strom erhalten.

Derartige analoge Chips können außerdem neben Nullen und Einsen auch Zwischenzustände verarbeiten. „Dies wird als synaptisches Gewicht bezeichnet und ist in der Atomanordnung jedes Phasenwechselmoduls gespeichert“, schreibt das Team. Dadurch können KI-typische Operationen durch eine einfache Kombination von Spannung und Stromstärke codiert werden. Dafür muss dann nicht ein einziges Bit bewegt werden.

Test an zwei KI-Modellen

Die Forscher:innen testeten ihren Chip dann als Basis zweier verschiedener KI-Modelle. Im ersten Test kam Google Speech Commands zum Einsatz, ein gängiges, eher kleineres Sprachmodell. Dabei verglichen sie die Effizienz Schnelligkeit des Systems mit ihrem Chip mit einer herkömmlichen digitalen Version. Dabei kamen zwölf Schlüsselworte zum Einsatz. Mit einer Trefferquote beim Erkennen der Begriffe von 86 Prozent lag der analoge Chip auf gleicher Höhe mit dem digitalen. Allerdings verarbeitete der analoge Chip die akustischen Eingaben sieben Mal schneller als der digitale.

Im zweiten Test kamen fünf gekoppelte Analog-Chips zum Einsatz, die über insgesamt 140 Millionen Phasenwechsel-Module verfügten. Auf diesem System wurde dann das deutlich größere Sprachmodell Librispeech betrieben, das ganze gesprochene Texte transkribieren kann. Beim Transkribieren war das System ähnlich zuverlässig wie vergleichbare Modelle mit digitalen Chips, arbeitet aber duetlich energieeffizienter. „Der analoge KI-Chip kombiniert mit analogen, energiesparenden Peripherie-Schaltkreisen, kann bis zu 12,4 Billionen Operationen pro Sekunde pro Watt erreichen“, so die Forscher:innen. Damit war das analoge Systgem 14 mal energieeffizienter als die herkömmlichen digitalen Systeme.

Zukünftige KI-Systeme können umweltfreundlicher sein

Die Forscher:innen gehen davon aus, mit analogen Chips dazu beitragen zu können, künstliche Intelligenzen in Zukunft energiesparender und umweltfreundlicher zu gestalten. Aber: Noch steckt die Technologie in den sprichwörtlichen Kinderschuhen. Bis man künstliche Intelligenzen komplett auf analogen Systemen betreiben kann, müssen diese noch weiterentwickelt werden.

via IBM Research