Fehler, Fallstricke und Irrtümer von ChatGPT

Fehler von ChatGPT? Ist eine künstliche Intelligenz nicht unfehlbar? Mitnichten. Hier finden Sie die wichtigsten Fehlerquellen und Fallstricke, über die Sie bei der Nutzung von ChatGPT stolpern könnten.

Am 23.01.2025 erscheint mein neues Buch, in dem ich ganz ausführlich sämtliche Grundprinzipien beschreibe, wie man KI klug nutzt. Jetzt kann man es schon vorbestellen :)

Die KI ChatGPT liefert hervorragende Ergebnisse, wenn man gute Fragen stellt. Sie schreibt allerdings auch mit größter Selbstverständlichkeit Blödsinn. Zwar entschuldigt sie sich dann auf Nachfrage, aber man muss eben erst mal nachfragen. Wichtig ist also, die Antworten einem Faktencheck zu unterziehen.

Welche Fehler sind Ihnen bereits aufgefallen? Schreiben Sie sie in die Kommentare, denn dann können wir alle voneinander lernen.

1. Warum macht ChatGPT Fehler und man merkt es nicht?

ChatGPT hat einerseits Zugang zu einem unfassbar großen Textdatenbestand. Es wurde trainiert auf 45 Terabyte Textdaten! Das ist eine unvorstellbar große Datenmenge.

Andererseits formt das Modell Silben, Wörter und Sätze nach der Wahrscheinlichkeit, dass ein bestimmtes Wort auf ein anderes folgt. Wenn ChatGPT in einem Bereich kein Wissen hat, sagt es trotzdem das nächste Wort voraus und generiert eine Antwort, die wahr klingt und selbstbewusst und logisch wirkt. Nur dass die Antwort frei erfunden ist. Der Chatbot hat kein Verständnis für das, was er schreibt, das darf man nicht vergessen.

Der Bot "will" immer eine Antwort geben. Stellt man in einer Frage falsche Zusammenhänge her und der Bot erkennt die Fehler nicht, dann generiert er eine Antwort, die plausibel scheint, aber völlig falsch ist. Man kann der KI also Fakten unterschieben, die sie mit generierten Argumenten begründet, die tatsächlich frei erfunden sind. "Intelligent" geht anders. Der Grund dafür liegt darin, dass die KI trainiert wurde, menschliche Sprache zu generieren, also verhält sie sich so, wie Menschen sich auch verhalten. Wissen sie etwas nicht, drücken sie sich darum herum :)

Man sollte also niemals das eigene Hirn ausschalten und sich blind auf die Antworten verlassen. Zu oft hat das Sprachmodell bei meinen Recherchen nachweislich Blödsinn erzählt. Es entschuldigt sich dann zwar höflich für seine begrenzte Leistungsfähigkeit und dass es sich geirrt habe, aber eine richtige Antwort erhält man trotzdem nicht immer.

Dieses Verhalten des ChatGPT nennt man "halluzinieren". Das Modell generiert menschlich wirkende Sprache und legt den Fokus (noch) nicht auf korrekte Fakten. Es heißt "ChatGPT" und nicht "KnowledgeGPT".

In diesem Beispiel hat es auf Nachfrage seinen Fehler sofort korrigiert:

2. Quellenangaben nur auf Nachfrage

Bei Google kann man recht schnell nach der Seriosität der Webseite entscheiden, ob eine Antwort glaubwürdig ist. ChatGPT schreibt einfach Antworten, von denen man erst mal nicht weiß, woher sie stammen. Man kann zwar um Quellenangaben bitten und erhält auch welche, aber man muss aktiv danach fragen.

Allerdings halluziniert die KI leider auch in diesem Punkt. Ich habe es schon erlebt, dass ChatGPT eine Quelle oder Studie genannt hat, die bei meiner intensiven Überprüfung einfach nicht existierte. Ein besseres Tool für Quellen ist Perplexity.

3. Fehlerquelle bei ChatGPT: Sprachkuddelmuddel

ChatGPT wurde hauptsächlich mit englischsprachigen Daten trainiert. Wenn der Bot auf Deutsch verwendet wird, hat er weniger Daten, um sprachliche Muster, Fachbegriffe und Kontexte zu verstehen. Das führt dazu, dass er Zusammenhänge nicht so präzise erkennt und auf englische Daten oder Strukturen zurückgreift. Dadurch entstehen manchmal Fehler oder ungenaue Antworten, besonders bei komplexen oder sehr spezifischen Themen.

Bei wirklich wichtigen Themen empfehle ich, ChatGPT auf Englisch zu nutzen. Wie geht das ganz konkret, wenn man sich im Englischen weniger sicher fühlt? Schreiben Sie die Frage (den "Prompt") in DeepL und lassen Sie sich Ihre Fragen übersetzen. Die übersetzte Frage kopieren Sie in den ChatGPT. Die Antwort können Sie sich auf dieselbe Weise auf Deutsch in DeepL übersetzen lassen. Klingt umständlich, ist es aber nicht wirklich und man erhält bessere Ergebnisse, wenn es wirklich drauf ankommt.

4. Fallstrick bei ChatGPT: Es gibt keinen Datenschutz

Künstliche Intelligenz, Big Data und ein riesiges Sprachmodell auf der einen Seite, Datenschutzüberlegungen auf der anderen. 

Beide Seiten schließen sich aus. Es wird alles ausgewertet, was mit dem Chatbot geschrieben wird, das sollte man im Hinterkopf behalten. Also bitte niemals Fragen stellen zu sensiblen, privaten oder persönlichen Themen!

Man kann zwar in den Profileinstellungen von ChatGPT der Nutzung der eigenen Daten widersprechen. Trotzdem gibt es rein technisch mehrere Hintertürchen, aus denen die eigenen Daten verschwinden können.

5. Für Schüler:innen: Rückfall ins passive Lernen

Wir sind alle Menschen und unser Gehirn ist erst mal faul. Freundlich gesagt: Es befindet sich im Energiesparmodus. Das muss man sich bei der Nutzung des ChatGPT immer wieder vor Augen halten.

Schüler:innen geht es ganz genauso, kann man ihnen daraus einen Vorwurf machen? Effizient ist ausschließlich aktives Lernen. ChatGPT kann dabei eine große Hilfe sein, wenn es richtig eingesetzt wird.

Sie brauchen weiterhin menschliche Begleitung und Unterstützung beim Lernen. Idealerweise durch Aufgabenstellungen, die zum Zeitalter der KI passen. Hier ein Artikel, der effizientes Lernen mit ChatGPT beschreibt.

6. Fehlerquelle: Antworten bleiben unvollständig.

Wenn man eine komplexere Frage stellt oder eine längere Antwort wünscht, dann bricht ChatGPT auch mal mitten im Wort ab und es fehlen wesentliche Teile.

Der Grund dafür ist ganz simpel: Die Ausgabe ist begrenzt. Wie viele Wörter generiert werden, ist unter anderem abhängig von der Uhrzeit - schlafen die Menschen in den USA noch oder sind sie ebenfalls aktiv :)

In jedem Fall muss man bei einem Abbruch nicht wieder von vorne beginnen, sondern kann ChatGPT einfach bitten, die Antwort weiter zu schreiben. Prompts dafür sind:

  • weiter
  • fahre fort

Bittet man den Bot mit einer längeren Aufforderung, die Antwort zu ergänzen, dann führt er die Antwort nicht nahtlos weiter, sondern beschreibt zunächst nochmal ausführlich, welche Antwort er nun geben wird.

Ist die Antwort also unvollständig, dann liegt in der Kürze des Prompts die Würze.

Faktencheck: Wie kann man Fehler von ChatGPT verhindern?

Einerseits durch Mitdenken. Bei wichtigen Themen immer doppelt prüfen. Es gibt aber auch eine ganz simple Möglichkeit, die Antworten des Bots zu prüfen: Man bittet ihn einfach darum oder verwendet ein anderes Sprachmodell, das mit anderen Daten trainiert ist und daher einen besseren Faktencheck liefert. Ich empfehle für diesen Zweck Claude.

Zauberwörter für einen kritisch nachfragenden Prompt lauten: 

  • Mach einen Faktencheck.
  • Oder: Nenne mir Studien, die deine Antwort belegen.
  • Oder: In welchen Quellen finden sich Belege dafür?

Ein Beispiel, wie ChatGPT sich in den Antworten verheddert

Hier zeige ich ein Beispiel, wie eine Behauptung aufgestellt wird, die sehr logisch und nachvollziehbar klingt und die dann doch in die Irre führt.

Ich hatte ChatGPT in der vorangegangenen Konversation nach Orten in Indien gefragt, die Marco Polo auf seinem Weg entlang der Seidenstraße besucht hat. Die KI hat daraufhin den Ort Kochi in Indien genannt. Ich hatte in Google Maps überprüft, wo dieser Ort liegt und dann versucht, Kochi in Marco Polos Buch "Il Milione" zu finden. ChatGPT beschreibt die Lage und Charakteristik der Stadt, obwohl Marco Polo diese Stadt tatsächlich weder erwähnt noch beschreibt.

Dieser Artikel wurde mit freundlicher Mitwirkung von ChatGPT erstellt.

Weiter lesen:

System 0: KI als Denkhilfe

System 0: KI als Denkhilfe und Erweiterung unseres DenkensHaben Sie schon mal von System 0 gehört? Mit diesem Konzept können Sie KI als Denkhilfe einsetzen, denn Künstliche Intelligenz verändert nicht nur unsere Arbeitswelt – sie verändert fundamental die Art, wie wir denken und Probleme lösen. Zu diesem Zweck habe ich das Konzept der „dritten Gehirnhälfte“

Read More

Keine Panik, es ist nur KI

Keine Panik, es ist nur KI23.01.2025Das Buch unterstützt Menschen darin, Berührungsängste gegenüber KI abzubauen und die Potenziale besser zu verstehen. KI ist eine Querschnittstechnologie, die unser Leben ebenso tiefgreifend prägt wie Elektrizität oder das Internet.Grundprinzipien der KI-NutzungDie  besten Prompt-TechnikenVier Denkräume mit KIKI als dritte GehirnhälfteUnternehmensgründung 93% fertig Das Manuskript ist schon lange abgegeben, erscheinen wird

Read More

Kluges Prompting für Führungskräfte: KI optimal nutzen

Kluges Prompting ist für Führungkräfte heute ein relevanter Skill. Nutzen Sie KI als „dritte Gehirnhälfte“. Hier finden Sie einen kurzen Einblick, wie Sie als Führungskraft KI optimal nutzen. Sie können KI für fast alle Tätigkeiten einsetzen, die länger als 10 Minuten Ihrer Zeit beanspruchen. Kluges Prompting ist Ihr Schlüssel zur effizienten Nutzung von KI im

Read More

Entscheidungen treffen mit KI – wie geht das?

Bessere Entscheidungen treffen mit KI – wie geht das?Entscheidungen prägen unseren Alltag, ob im kleinen Rahmen wie beim Einkauf im Supermarkt oder bei großen beruflichen Veränderungen. Wie können wir bessere Entscheidungen treffen, indem wir uns von KI unterstützen lassen? In diesem Artikel erfahren Sie, wie Tools wie ChatGPT oder andere KI-Systeme uns helfen, unsere Entscheidungsprozesse

Read More

ChatGPT: 11 innovative Tipps, um das Denken zu schärfen

ChatGPT ist auch ein Denkwerkzeug. Dieser Textbot hat die Ära der Massen-KI eingeläutet. Alle Menschen mit Internetanschluss haben Zugang zu KI-Tools. Berufliche Tätigkeiten verändern sich dadurch immer stärker und Unternehmen richten sich darauf ein. Wir können Marketingtexte damit generieren, detaillierte Berichte und sogar Strategiepapiere. Viele schätzen ChatGPT mittlerweile als Textgenerator. Ich persönlich allerdings schätze die zusätzliche

Read More