Künstliche Intelligenz: Befinden wir uns in einer Spirale, die zum Kollaps führt?

Künstliche Intelligenzen sind in Form von etwa dem großen Sprachmodell ChatGPT oder dem Bildgenerator Midjourney inzwischen auch der breiten Öffentlichkeit zugänglich. Solche Systeme lernen, indem sie große Datenmengen auswerten und die Wahrscheinlichkeiten von Text- oder Pixelabfolgen berechnen. Die Trainingsdaten kommen bisher vorwiegend aus Inhalten, die von Menschen erzeugt wurden. Allerdings stammen immer mehr Inhalte im Internet von künstlichen Intelligenzen. Diese Inhalte werden potentiell das Trainingsmaterial für zukünftige KI-Generationen sein. Ein Experiment zeigt nun, dass dies fatale Folgen haben könnte. Bereits nach wenigen KI-Generationen, die jeweils von KI-Inhalten trainiert wurden, kommt es zum Kollaps von Sprachmodellen. Am Ende dieser „Spirale“ geben KI-Systeme nur noch Unsinn aus.

KI kann nicht von sich selbst lernen

Künstliche Intelligenzen sind voll im Trend. Als Folge nimmt auch der Anteil der KI-generierten Inhalte im Internet zu. Das führt zu einem Problem. „Wenn dann die Trainingsdaten künftiger KI-Modelle weiterhin aus dem Web entnommen werden, trainieren diese KI-Systeme unweigerlich mit den Daten ihrer Vorgänger„, erläutert ein Forschungsteam rund um Ilia Shumailov von der University of Oxford.

Die Forscher:innen untersuchten, welche Folgen dieser Vorgang für künftige Generationen der KI haben könnten. „Wir bewerten dabei die gängigste Trainingsform eines Großen Sprachmodells, bei der vortrainierte Modelle mithilfe neuer Trainingszyklen verbessert werden„, so das Team. Für ihr Experiment kam das Sprachmodell OPT-125m von Meta zum Einsatz, das mit einem Datensatz aus Wikipediatexten gefüttert wurde. Die Folgegenerationen der KI erhielten dann nur noch die Daten, die ihr Vorgänger erzeugt hatte oder eine Mischung aus 90 Prozent von der KI erzeugten und zehn Prozent von Menschen gemachten Daten.

Bereits nach fünf KI-Generationen wurden die Antworten der KI deutlich schlechter. „In den meisten Fällen bekommen wir einen Kaskaden-Effekt, durch den sich einzelne Ungenauigkeiten kombinieren und die Fehler insgesamt immer weiter zunehmen„, erläutern die Forscher:innen. Es entstanden etwa zunehmen Wort- und Satzwiederholungen. Wird die KI aufgefordert, die Wiederholungen zu unterlassen, werden die Ausgaben qualitativ noch schlechter.

Unvermeidbarer Kollaps

Die degradierte künstliche Intelligenz verweigert dann die Antwort auf die gestellte Frage oder fixiert sich auf einen kleinen Teilaspekt der Antwort. Nach neun Generationen kam es dann zum Kollaps: Das Sprachmodell gab nur noch sinnlose Sprachbrocken und Zeichenfolgen aus.

„Das ungefilterte Lernen auf Basis von KI-generierten Daten bewirkt einen Kollaps der Modelle – einen degenerativen Prozess, bei dem sie mit der Zeit die wahre Verteilung der zugrundeliegenden Originaldaten vergessen„, so die Forscher:innen.

Der Kollaps war im Experiment nicht vermeidbar, wenn die KI nur mit von ihr selbst erzeugten Daten gefüttert wurde. „Anders ausgedrückt: Die Veröffentlichung von KI-generierten Daten im Internet kontaminiert die Datensammlung, die für das Training ihrer Nachfolger benötigt wird. Wir sollten dieses Problem daher ernst nehmen, wenn wir auch künftig noch vom Internet als Trainingsmaterial für künstliche Intelligenz profitieren wollen„, so das Team.

Wasserzeichen für KI-Inhalte könnte Abhilfe schaffen

Die Forscher:innen sehen die Gefahr dieser langsamen Degeneration bis zum Kollaps nicht nur bei Sprachmodellen, sondern auch bei anderen generativen künstlichen Intelligenzen. Allerdings wurde im Experiment nicht getestet, was geschieht, wenn eine KI mit den Daten anderer KIs trainiert wird.

Inzwischen ist es teilweise kaum noch zu erkennen, welche Daten im Internet von künstlichen Intelligenzen kommen und welchen von Menschen. Auch ausgefeilte Algorithmen verzweifeln regelmäßig daran, KI-generierte Texte oder Fotos von menschengemachten zu unterscheiden.

Shumailov und seine Kolleg:innen schlagen als mögliche Lösung vor, eine Art Wasserzeichen einzuführen, die in allen von KI erzeugten Daten eingebaut werden. So könnte verhindert werden, dass KIs mit KI-Daten trainiert werden. Allerdings müssten die Unternehmen hinter den KIs dann an einem Strang ziehen – etwas, was auf dem ersten Blick unwahrscheinlich erscheint.

via University of Oxford