Turbo-Lerner? ChatGPT wird in verschiedenen Disziplinen immer schlechter

ChatGPT gilt als Turbo-Lerner, ähnlich wie der berühmt-berüchtigte Roboter im 80er-Jahre-Film »Nummer 5 lebt«. Nur, dass die KI nicht aus Büchern, sondern aus digitalen Daten lernt, die sie aber noch schneller scannt, als Nummer 5 Papierseiten umblättern kann. Eine Untersuchung von Forschern der Stanford University und der UC Berkeley offenbart nun Überraschendes: Statt seines Leistungen zu verbessern, wird GPT in verschiedenen Disziplinen immer schlechter. Eine Erklärung für das Phänomen geben die Wissenschaftler nicht ab.

Forscher untersuchten Antwortqualität von März bis Juni

Die Forscher untersuchten über einige Monate hinweg die von GPT ausgegebenen Antworten und kamen dabei zwei verschiedenen Entwicklungsgenerationen in Kontakt. Sie veröffentlichten die aus ihrer Studie resultierenden Ergebnisse unter dem Titel »Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?« In ihrer Publikation beschreiben sie, wie sie das die Versionen GPT-3.5 und GPT-4 von März bis Juni 2023 verschieden Aufgaben stellten. Zum einen handelte es sich um mathematische Fragen, zum anderen um Fragen der Codeerstellung. Auch visuelle Schlüsse sollte die KI ziehen und auf sensible Inhalte eingehen.

GPT-4 verzeichnete erhebliche Leistungseinbußen

Die »fortschrittlichste« Variante GPT-4 verzeichnete in dieser relativ kurzen Phase erhebliche Leistungseinbußen. Konnte sie noch im März die Primzahl 17.077 zu 97,6 Prozent sicher als solche identifizieren, gelang ihr das im Juni nur noch in 2,4 Prozent der Anfragen. GPT-3.5 verbesserte sich bei dieser einen Aufgabe ein wenig. Außerdem fügte GPT-4 im Juni plötzlich Anführungszeichen in generierte Codes ein und machte sie so unausführbar. Die Leistung auf diesem Gebiet sank von 52 Prozent perfekt generierter Codes auf nur noch 10 Prozent im März.

Die Veröffentlichung der Daten erfolgte auf Github. Dort mahnen die Forscher alle Nutzer von LLM-Angeboten, selbst genau hinzuschauen. Niemand könne darauf vertrauen, dass KI-Systeme, die sich einmal als verlässlich erwiesen haben, auch noch in Zukunft brauchbare Daten produzieren.

Quelle: golem.de

Teile den Artikel oder unterstütze uns mit einer Spende.

Facebook Twitter WhatsApp E-Mail Newsletter