Künstliche Intelligenz Werden Sprachmodelle wie Chat GPT mit der Zeit dümmer?

Mehr Daten und mehr Interaktionen machen ein Sprachmodell nicht zwingend besser. Das zeigten nun Forscher in einer Studie. Doch der Grund für schwankende Leistungen bei Chat GPT ist unklar.

Bereits im Juli haben Forscher der Stanford University und der University of California in Berkeley herausgefunden, dass die Leistung von Chat GPT im Laufe der Zeit stark schwankt. Seitdem wird darüber diskutiert, weswegen der Chatbot von Open AI scheinbar immer dümmer wird.

Konkret untersuchte die Forschergruppe das Verhalten von GPT-3.5 und GPT-4 von März bis Juni 2023. Dabei fragten sie sieben verschiedene Aufgabenbereiche mehrfach ab, darunter das Lösen von mathematischen Problemen, das Erkennen von Primzahlen oder die Beantwortung von heiklen Fragen. Die Leistungen und das Verhalten beider GPT-Versionen schwankten von März bis Juni erheblich, so die Forscher. Im März 2023 hatte GPT-4 bei der Erkennung von Primzahlen und zusammengesetzten Zahlen etwa eine Trefferquote von 84 Prozent. Im Juni 2023 lag die Trefferquote nur noch bei 51 Prozent. Die Quote bei derselben Aufgabe lag bei GPT-3.5 im März bei 49,6 Prozent und stieg im Juni auf 76,2 Prozent. Bei anderen Matheaufgaben war der Trend umgekehrt.