Künstliche Intelligenz: Dieser Supercomputer von Nvidia wird die KIs von morgen trainieren

KI-Systeme wie ChatGPT sind derzeit in aller Munde und erschrecken und beeindrucken die Menschen gleichermaßen. Und in Zukunft werden solche Systeme noch mächtiger werden. Nvidia hat kürzlich eine neuartige Klasse von Supercomputern angekündigt, deren Aufgabe es unter anderem sein wird, die KI-Modelle der Zukunft zu trainieren.

Nvidia baut neue Superchips

Das neue System hört auf den Namen Nvidia DGX GH200 und wird über eine Rechenleistung von einem Exaflop verfügen. Das entspricht 1.000 Teraflops – oder 10^18 Gleitkommaoperationen pro Sekunde. Das System wird aus insgesant 256 G200-Superchips bestehen und über insgesamt 144 Terabyte Shared Memory verfügen, was dem 500-fachen des Speichers von Nvidias aktuellem Supercomputer DGX A100 entspricht, der erst vor drei Jahren vorgestellt wurde.

Jeder der GH200-Chips besteht aus Nvidias Grace CPU und der H100 Tensor Core GPU, die untereinander mit der siebenfachen Geschwindigkeit einer PCIe-Verbindung kommunizieren können – bei nur einem Fünftel des Verbrauchs. Die einzelnen Chips werden untereinander mit Nvidias NVLink Switch System verbunden und können so als eine große GPU operieren.

Pfeilschneller Supercomputer trainiert die KI von morgen

Der DGX GH200 wird genutzt werden, um KI-Modelle wie etwa den Nachfolger von ChatGPT und andere KI- und Sprach-Modelle zu trainieren. ChatGPT wurde auf einem Supercomputer trainiert, der von Microsoft gebaut wurde und mehrere Tausend A100 GPUs von Nvidia enthielt.

Nvidia beschränkt sich aber nicht darauf, andere Unternehmen mit dem Equipment auszustatten, sondern kündigte auch einen eigenen Supercomputer auf Basis des DGX GH200 an. Dieser soll auf den Namen Helios hören, Ende des Jahres an den Start gehen und aus vier DGX GH200 bestehen, also insgesamt auf 1.024 GH200-Chips zurückgreifen können. Damit wäre der Helios in der Lage, 4 Exaflops Rechenleistung zu generieren.

Allerdings kommen diese Zahlen nicht ohne Nachteile. Derzeit ist der „Frontier“ des US-Verteidigungsministeriums mit einer Rechenleistung von 1,194 Exaflops der mächtigste Supercomputer der Welt. Auf den ersten Blick scheint es, als werde Nvidias Helios-System etwa vier Mal so mächtig werden. Allerdings vergleicht man hier Äpfel mit Orangen. Nvidia nutzt ein weniger präzises System, um die Rechenleistung zu messen. Dieses System hört auf den Namen FP8. Normalerweise werden Supercomputer mit dem FP64-System gemessen. Konvertiert man die Werte von Helios in dieses System, würde der Supercomputer noch 36 Petaflops erreichen, was etwa 0.036 Exaflops entspricht.

Dennoch wird es sich bei Helios um einen sehr mächtigen Supercomputer handeln, der KI-Systeme in Wochen statt Monaten trainieren kann.

via Nvidia