ChatGPT in der Krise?

• Die Nutzerzahlen sind in den Monaten Juni und Juli 2023 drastisch zurückgegangen von 1,9 Milliarden im Mai auf 1,5 Milliarden Nutzer im Juli.
• Immer mehr Medien verweigern ChatGPT den Zugriff auf ihre Inhalte.
• Eine Studie im Juni zeigte, dass sowohl ChatGPT 3,5 wie Chat GPT 4 große Differenzen bei den Ergebnissen aufweisen.

„Unsere Ergebnisse zeigen, dass sich das Verhalten von GPT-3.5 und GPT-4 in relativ kurzer Zeit erheblich verändert hat. Dies unterstreicht die Notwendigkeit, das Verhalten von LLM-Drifts in Anwendungen kontinuierlich zu evaluieren und zu bewerten, insbesondere da es nicht transparent ist, wie LLMs wie ChatGPT im Laufe der Zeit aktualisiert werden.“
Forscher der Stanford University und der UC Berkeley in der Studie „Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit“

Es läuft aktuell nicht gut für OpenAI und seine Sprachmodelle ChatGPT-3.5 und ChatGPT-4. Zum einen gehen die Nutzerzahlen zurück, zum anderen verbieten Medienunternehmen den Zugang zu ihren Inhalten. Und dann belegt eine Studie, dass die Ergebnisse von ChatGPT sehr unterschiedlich ausfallen können. Ein Überblick über die aktuellen Entwicklungen.

Kein Zugang mehr für ChatGPT

Die New York Times hat als eines der ersten Medienunternehmen weltweit ChatGPT den Zugang zu seinen Inhalten blockiert. Damit kann die KI nicht mehr den Content des Unternehmens nutzen, um das System weiter zu trainieren. Zugleich will die New York Times prüfen, ob sie rechtliche Schritte gegen OpenAI (OpenAI ist der Anbieter von ChatGPT) einleiten wird - der Grund: Verdacht des Verstoßes gegen Eigentumsrechte. Wie wichtig diese Informationen bzw. Zugriffsoptionen aber für ChatGPT sind, ist auf der Info-Website von OpenAI zu lesen. Dort heißt es: „Wenn Sie dem GPT-Bot den Zugriff auf Ihre Website erlauben, können KI-Modelle genauer werden und ihre allgemeinen Fähigkeiten und Sicherheit verbessern.“ Doch die Zugriffsmöglichkeiten werden weniger. Denn weitere Medienunternehmen haben mittlerweile nachgezogen und ebenfalls OpenAI den Zugang zu den Inhalten verwehrt. Dazu gehören u.a. CNN, Reuters und Australian Broadcasting Corporation. Und auch Amazon und Shutterstock sollen den Infofluss Richtung OpenAI gestoppt haben.

Sinkendes Interesse an ChatGPT?

Das Sprachmodell ChatGPT hat einen kometenhaften Aufstieg hingelegt. Nie wuchs eine Website schneller. Innerhalb von nur fünf Tagen verzeichnete sie schon eine Million Nutzerinnen und Nutzer und knapp zwei Monate später waren es schon eine Milliarde. Den vorläufigen (?) Höhepunkt erreichte die Website im Mai 2023 mit 1.9 Milliarden Nutzern. Doch seither geht es bergab – im Juni sanken Zahlen zum ersten Mal. Fast 10 Prozent weniger Nutzerinnen und Nutzer wurden im Juni gezählt und der Trend setzte sich auch im Juli 2023 fort. Die Washington Post sieht schon eine „Erschütterung des Glaubens an eine KI-Revolution“ gegeben und macht dafür mehrere Gründe aus: Zum einen bekäme OpenAI das Problem nicht in den Griff, das ChatGPT einfach falsche Informationen erfinde und als wahr ausgebe. Zum anderen hätten viel Firmen die Nutzung von ChatGPT verboten. Sie fürchten Datenlecks, wenn vertrauliche Firmendaten bei ChatGPT eingegeben werden.

Wird ChatGPT dümmer?

Erste Meldungen kursierten im Frühsommer. Da berichteten Firmen von schlechteren Ergebnissen bei der Nutzung von ChatGPT. Auch die Wissenschafts-Website spektrum.de berichtet von enttäuschten ChatGPT-Nutzerinnen und -Nutzern, die „mangelhaft empfundenen Konversationsverläufen“ beklagten und fragt „Leidet ChatGPT an Gedächtnisschwund?“. Eine „Teilantwort“ gibt eine Studie der Elitenuniversitäten Stanford und Berkely. Sie haben die Leistungsfähigkeit von ChatGPT-3.5 und ChatGPT-4 untersucht. Dafür stellten sie den Sprachmodellen in den Monaten März und Juni 2023 jeweils die gleichen Aufgaben. Das Ergebnis: Die Qualität der Antworten schwankte stark und „in Teilen verschlechterten sich die Modelle deutlich“. Allerdings warnte James Zou, Professor an der Standford-University und einer der Studienverantwortlichen, vor voreiligen Schlüssen: „Es ist sehr schwierig, allgemein zu sagen, ob GPT-4 oder GPT-3.5 im Laufe der Zeit besser oder schlechter wird“.

ChatGPT als Blackbox?

Die Gründe für diese Entwicklung sind schwer identifizierbar u.a. auch weil sich OpenAi zu dieser Qualitätsdebatte kaum ausführlich äußert. Peter Wendlinger, Produktchef von OpenAi, erklärt in einem X-Tweet lediglich kurz angebunden: „Nein, wir haben GPT-4 nicht dümmer gemacht. Ganz im Gegenteil: Wir machen jede neue Version schlauer als die vorherige.“ Und schreibt weiter zu den Studienerkenntnissen: „Meine Hypothese: Wenn man das Programm intensiver nutzt, fallen einem Probleme auf, die man vorher nicht gesehen hat.“ Die Wissenschaftswebsite Spektrum hingegen sieht den Grund in unsere Unwissenheit: „Wer OpenAI‘s KI-Modelle nutzt, weiß nie genau, ob das heute verwendete Modell mit der Version vom Vortag noch übereinstimmt, da der Anbieter Änderungen nicht öffentlich ankündigt und die Modelle im laufenden Betrieb anpasst, wohl auch mitunter experimentelle Neuerungen vornimmt.“ So unterstreicht diese Analyse die Forderung der Studie nach einer regelmäßigen Überprüfung der Arbeitsweise von ChatGPT.