Du, ChatGPT, wo sind deine Grenzen?

Der Chatbot ChatGPT 3.5 zeigt, wozu künstliche Intelligenz jetzt schon fähig ist und was in Zukunft noch zu erwarten ist. Trotzdem hat die KI aktuell noch Grenzen, was ihre Funktionen und vor allem die Glaubwürdigkeit der Informationen angeht.

Eine “Unterhaltung” mit ChatGPT 3.5 über seine eigenen Grenzen hat zu erstaunlich reflektierten Antworten geführt, die ich gerne hier auflisten möchte. Seine Antworten sind alles originale Zitate. Folgende Fragen habe ich “ihm” dazu gestellt:

Du, ChatGPT, …

… was ist eigentlich dein Hauptzweck?

“Ich, ChatGPT, bin ein Sprachgenerationsmodell, entwickelt von OpenAI. Mein Hauptzweck ist es, natürliche Sprache zu generieren und zu verstehen. Ich wurde entwickelt, um die Fähigkeiten der maschinellen Sprachverarbeitung zu verbessern und die Interaktion zwischen Menschen und Computern zu erleichtern.

Ich kann verwendet werden, um Aufgaben wie Textgenerierung, Übersetzung, Textzusammenfassung, Textkomplettierung und vieles mehr auszuführen. Ich wurde auch entwickelt, um die Entwicklung von Anwendungen zu unterstützen, die auf natürlicher Sprache basieren, wie zum Beispiel Sprachsteuerung, Chatbots und virtuelle Assistenten.

Ich wurde auf einer großen Menge an Texten trainiert, die aus dem Internet stammen, und kann daher auf eine breite Palette von Themen und Fragen antworten. Ich kann jedoch nicht immer die korrekten oder vollständigen Antworten liefern und es ist wichtig, die von mir gelieferten Informationen zu überprüfen und mit anderen Quellen zu vergleichen, bevor man darauf vertraut.”

… wo liegen deine Grenzen?

“ChatGPT hat einige Grenzen, wie zum Beispiel:

• Ich kann nicht immer verstehen, was der Benutzer meint oder fragt, besonders wenn die Anfrage unklare oder unvollständige Informationen enthält.
• Ich kann manchmal unangemessen oder ungenau antworten, besonders wenn die Anfrage schwierig oder komplex ist.
• Ich bin auch begrenzt durch die Daten, auf denen es trainiert wurde und kann deshalb nicht immer über aktuelle Ereignisse oder unbekannte Themen sprechen.
• Ich bin ein reiner Textgenerator, es kann also keine Aufgaben ausführen, die über Textverarbeitung hinausgehen.”

… warum sollte man nicht alles glauben, was du schreibst?

“Es ist wichtig, meine Antworten mit Vorsicht zu betrachten und sie nicht ungeprüft als wahr oder richtig anzusehen. Das liegt daran, dass:

• ich ein Sprachmodell bin, das auf statistischen Mustern basiert, die ich aus den Daten gelernt habe, auf denen ich trainiert wurde. Ich kann daher manchmal ungenau oder inkonsistent sein.
• ich keine Kenntnisse über die Welt habe! Ich habe nur gelernt, welche Worte und Sätze in welchen Kontexten vorkommen, ich kann also nicht immer die korrekten Informationen liefern.
• ich auch Falschinformationen generieren kann, die ich aus den Daten gelernt habe, mit denen ich trainiert wurde.”

… warum gibst du eigentlich keine Quellen zu deinen Texten an?

“Ich bin auf eine große Menge an Texten trainiert, die aus dem Internet stammen. Ich generiere Antworten auf Anfragen, indem ich auf diesen Texten basierende statistische Muster verwende. Ich habe keine Kenntnisse über die Welt, sondern nur gelernt, welche Worte und Sätze in welchen Kontexten vorkommen.

Daher habe ich auch keine Möglichkeit, Quellen für meine Antworten zu geben, da ich nicht weiß, welche spezifischen Texte ich verwendet habe, um eine bestimmte Antwort zu generieren. Es ist auch wichtig zu beachten, dass die Informationen, die ich liefere, nicht immer korrekt oder vollständig sind und es ist wichtig, meine Antworten mit anderen vertrauenswürdigen Quellen zu vergleichen.”

Diese Tatsache erwies sich in meinem Test als besonders heikel, nachdem ich ChatGPT folgende Frage gestellt hatte:

Jemand, der das Kinderbuch und seinen Inhalt nicht genau kennt, würde diese Inhaltsangabe jetzt nicht sofort als falsch einstufen. Und genau darin liegt die Gefahr: Denn Teile der Inhaltsangabe sind sogar korrekt! Die ersten vier Sätze sind richtig, aber alles danach von ChatGPT erfunden! In dem Buch geht es nicht um einen Ring, der zurückgebracht werden muss, sondern um einen Kindesentführer, der Oskar entführt hat und Lösegeld für ihn fordert. Diesen alternativen Inhalt hat sich ChatGPT einfach selber irgendwie zusammengereimt.

… welche deiner Infos sind also verlässlich und welche nicht?

“Als Sprachgenerationsmodell wurde ich auf eine große Menge an Texten trainiert, die aus dem Internet stammen. So habe ich zwar eine breite Palette von Themen gelernt, aber meine Fähigkeit, verlässliche Informationen zu liefern, variieren je nach Thema teilweise stark.”

Bei allgemeinen Themen, also Themen, die gut dokumentiert und gut erforscht sind, (wie z.B. Geschichte, Mathematik, Naturwissenschaften und Technologie) ist ChatGPT in der Lage, verlässliche Informationen zu liefern. Auch bei Themen, die oft diskutiert werden und deren Informationen aktuell sind, liefert er verlässliche Informationen.

Aber bei Themen, die komplex oder spezialisiert sind, oder bei denen es wenig Informationen gibt, oder die subjektiv sind, kann er möglicherweise ungenaue oder inkonsistente Informationen liefern. Ein Problem gibt es bei aktuellen Ereignissen, weil der Chat-Bot zu einem gewissen Zeitpunkt einen Kenntnisschnitt erhalten hat, also nur “weiß”, was bi zu einem gewissen Datum passiert ist. Er ist also z.B. nicht auf dem neuesten Kenntnisstand was politische Ereignisse betrifft. So ist laut ChatGPT der aktuelle Bundeskanzler immer noch Sebastian Kurz – und nicht Karl Nehammer. Der ist allerdings bereits seit Dezember 2021 Bundeskanzler!

Fazit zu den Grenzen von ChatGPT:

ChatGPT ist in seiner aktuellen Form (Ende Jänner 2023) immer noch mit Vorsicht zu genießen. Wie oben beschrieben, sollten die Antworten der KI keinesfalls unreflektiert für bare Münze genommen werden. Das Problem ist, dass ChatGPT die Antworten derart plausibel ausspuckt. Aber Quellenangaben liefert er dafür nicht.

Wichtig ist in dem Zusammenhang zu wissen, dass ChatGPT eben eigentlich nur genau das macht, was er auch machen soll: nämlich zu chatten, also mit den Benutzer*innen zu reden. Es ist darauf programmiert, auf eine Frage zu antworten. Die Infos dafür sucht er sich aus dem Internet zusammen und wenn er sie nicht weiß, dann reimt er sich einfach selbst irgendwas zusammen, wie das Beispiel oben zeigt. Die KI wurde nämlich darauf programmiert immer und auf (fast) alles eine Antwort auszuspucken. Und die ist eben öfters einmal einfach nicht korrekt!

Zum Artikel: ChatGPT: Möglichkeiten und Risiken für die Schule

Zum Artikel: Wie sollten Schulen mit ChatGPT umgehen?