mini|hochkant=1.8|KI-Halluzination auf die Frage nach einer Seilbahn im Siebengebirge: Eine „Rheinseilbahn“ oder „Schwebebahn“ gibt es dort nicht. Selbst nach Anforderung einer gpx-Datei zur Verifizierung blieb Qwen dabei und erzeugte fiktive Angaben.
Als Halluzination wird im Bereich der künstlichen Intelligenz ein überzeugend formuliertes Ergebnis bezeichnet, das sachlich falsch sein kann oder nicht durch die zugrunde liegenden Trainingsdaten gedeckt erscheint. Der Begriff ist eine übertragene Verwendung der psychologischen beziehungsweise medizinischen Bezeichnung Halluzination; alternativ wird auch von Konfabulation gesprochen.Craig S. Smith: . In: IEEE Spectrum, 24. März 2023. Abgerufen am 24. September 2023 (englisch)
Solche Phänomene werden in Analogie zum Phänomen der Halluzination in der menschlichen Psychologie als von Chatbots erzeugte KI-Halluzinationen bezeichnet. Ein wichtiger Unterschied ist, dass menschliche Halluzinationen meist auf falschen Wahrnehmungen der menschlichen Sinne beruhen, während eine KI-Halluzination ungerechtfertigte Resultate als Text oder Bild erzeugt. Prabhakar Raghavan, Leiter von Google Search, beschrieb Halluzinationen von Chatbots als überzeugend formulierte, aber weitgehend erfundene Resultate.. Reuters, 11. Februar 2023. Abgerufen am 24. September 2023 (englisch) Der spezifische Begriff KI-Halluzination kann Computer unangemessen vermenschlichen.
Es gibt jedoch auch KI-Halluzinationen, welche Forscher zur Entdeckung bisher unbekannter Varianten erwiesenermaßen vorhandener Realitäten gezielt nutzen.William Broad: How Hallucinatory A.I. Helps Science Dream Up Big Breakthroughs. In: NYT 23. Dezember 2024. Abgerufen am 24. Februar 2025 (englisch; Paywall) So wird beispielsweise generative KI in der Arzneimittelforschung verwendet, um spezifisch trainierte KI-Modelle zur Vorhersage möglicher neuer, therapeutisch vielversprechender Moleküle auf Grundlage existierender, wirksamer Moleküle einzusetzen. Diese Vorhersagen werden anschließend im Labor bezüglich realer Wirksamkeit getestet und sowohl positive als auch negative Resultate wiederum ins KI-Modell eingespeist.KI und maschinelles Lernen: Revolution in der Medikamentenentwicklung. In: Roche Geschäftsbericht 2024, 2025, S. 155. Abgerufen am 5. April 2025 Diese wissenschaftlichen Anwendungen von KI beruhen nicht auf willkürlichen Sprachkonstruktionen von Chatbots und/oder Internetdaten, sondern auf wissenschaftlich erhärteten Erkenntnissen.
Vorkommen mini|alt=Das Bild zeigt via ChatGPT eine Antwort auf die Frage, was eine „Kotstube“ sei|Ein großes Sprachmodell erzeugt eine fundiert klingende Definition eines obskuren Wortes. KI-Halluzinationen erlangten um 2022 parallel zur Einführung bestimmter großer Sprachmodelle () wie ChatGPT Bedeutung.Christian J. Meier: Warum die KI so gerne lügt. In: Süddeutsche Zeitung, 28. März 2023. Abgerufen am 24. September 2023. Die Nutzer beschwerten sich, dass solche Chatbots oft sinnlos plausibel klingende Zufallslügen in ihren generierten Inhalten einbetteten. Als beispielsweise ChatGPT gebeten wurde, einen Artikel über das letzte Finanzquartal eines bestimmten Unternehmens zu generieren, erstellte dieser Chatbot einen kohärenten Artikel, erfand aber darin enthaltene Finanzzahlen. Nach Fragen über astrophysikalische Magnetfelder behauptete ChatGPT fälschlicherweise, dass Magnetfelder von Schwarzen Löchern durch die extrem starken Gravitationskräfte in ihrer Nähe erzeugt würden. In Wirklichkeit hat ein Schwarzes Loch aufgrund des No-Hair-Theorems kein Magnetfeld.Marc Zastrow: In: Discover Magazine. Kalmbach Publishing Co. 29. Dezember 2022. Abgerufen am 24. September 2023 (englisch) Analysten betrachten häufige Halluzinationen als ein großes Problem der LLM-Technik.Ziwie Ji et al.: . In: ACM Computing Surveys, 55 (12), 2023, S. 1–38 (englisch).
KI-Halluzinationen können auch Auswirkungen im realen Leben haben. So wurden beispielsweise Touristen über die Website eines australischen Reiseunternehmens auf die „Weldborough Hot Springs“ (heiße Quellen von Weldborough) aufmerksam gemacht, die jedoch nicht existieren. Scharen von Touristen suchten daraufhin vergebens den abgelegenen Ort in Tasmanien auf.
Ursachen Forscher haben unerwünschte Halluzinationen als ein statistisches Phänomen bezeichnet oder Halluzinationen auf unzureichende Trainingsdaten zurückgeführt. Da große Sprachmodelle kein vollständiges Wissen der Welt besitzen, wird fehlendes Wissen interpoliert bzw. konfabuliert. Diese Eigenschaft von Sprachmodellen ermöglicht es, Anfragen an das Modell auf eine kreative Weise zu beantworten, anstatt ausschließlich auf vorhandenes Wissen zurückgreifen zu können. Allerdings führt dies auch dazu, dass eine Anfrage des Benutzers, auf die eine objektiv richtige Antwort existiert, dem Modell aber unbekannt ist, auf eine Weise beantwortet wird, die stimmig erscheinen kann, jedoch nicht den Tatsachen entspricht.
Einige Kenner glauben, dass bestimmte falsche KI-Antworten, die von Menschen als Halluzinationen im Fall der Objekterkennung eingestuft werden, tatsächlich durch die Trainingsdaten gerechtfertigt sein können oder sogar, dass eine KI die richtige Antwort gibt, welche die menschlichen Gutachter nicht sehen. Zum Beispiel kann ein umstrittenes Bild, das für einen Menschen wie ein gewöhnliches Bild eines Hundes aussieht, in Wirklichkeit für die KI Muster enthalten, die in authentischen Bildern nur beim Betrachten einer Katze auftreten würden. Die KI erkenne reale visuelle Muster, welche für Menschen nicht zu erkennen seien. Diese Schlussfolgerungen wurden jedoch von anderen Forschern in Frage gestellt. Zum Beispiel wurde eingewendet, dass die Modelle zu oberflächlichen Statistiken tendieren könnten, was dazu führe, dass Training bei umstrittenen Themen in realen Szenarien nicht robust sei.
Halluzination wurde als statistisch unvermeidliches Nebenprodukt eines jeden unvollkommenen generativen Modells erkannt, das darauf trainiert ist, die Trainingswahrscheinlichkeit zu maximieren, wie zum Beispiel GPT-4. Ebenfalls können Fehler beim Kodieren und Dekodieren zwischen Text und Repräsentationen Halluzinationen verursachen. KI-Training zur Erzeugung von vielfältigen Antworten kann auch zu Halluzinationen führen. Halluzinationen können ebenfalls auftreten, wenn die KI auf einem Datensatz trainiert wird, bei dem beschriftete Zusammenfassungen trotz ihrer faktischen Genauigkeit nicht direkt in den beschrifteten Daten verankert sind, die angeblich zusammengefasst werden. Größere Datensätze können ein Problem des parametrischen Wissens schaffen (Wissen, das in gelernten Systemparametern fixiert ist), was zu Halluzinationen führt, wenn das System zu selbstsicher sein festgelegtes Wissen nutzt.Stephen Casper, Xander Davies et al.: . MIT / Harvard University, 27. Juli 2023. Abgerufen am 24. September 2023 (englisch). In Systemen wie GPT-4 generiert eine KI jedes nächste Wort basierend auf einer Sequenz von vorherigen Wörtern (einschließlich der Wörter, die sie selbst während desselben Dialogs zuvor generiert hat), was zu einer Kaskade von möglichen Halluzinationen führt, je länger die Antwort wird.Muru Zhang et al.: . arXiv preprint arXiv:2305.13534, 2023 (englisch).
Vermeidung mini|alternativtext=Magst du einen Wikipedia-Artikel über Stefan Schmalfuß schreiben?|ChatGPT warnt vor dem Fingieren aufgrund einer mangelhaften Datenlage; vermeidet also selber Halluzination Zur Reduktion von KI-Halluzinationen wird zusätzliches aktives Lernen (wie zum Beispiel Bestärkendes Lernen aus menschlich beeinflusster Rückkopplung bei GPT-4) verwendet. Auch hat Google Bard eine neue Funktion eingeführt, mittels welcher Teile im Text orange markiert werden, deren Aussagen unsicher sind.Google-Chatbot Bard kämpft gegen KI-Halluzinationen, indem es zweifelhafte Textstellen markiert. In: NZZ, 19. September 2023. Abgerufen am 24. September 2023. Ob sich jedoch alle erwähnten Probleme lösen lassen, sei fraglich.Gerrit De Vynck: . In: , 30. Mai 2023. Abgerufen am 24. September 2023 (englisch).
Es wird untersucht, in welcher Art KI-Halluzinationen von typisch menschlichen Fehlern abweichen. Geeignete Gegenmaßnahmen für besonders verwirrende, aber echt erscheinende Resultate werden erforscht.Bruce Schneier, Nathan E. Sanders: AI Mistakes Are Very Different From Human Mistakes. In: IEEE Spectrum 13. Januar 2025. Abgerufen am 19. Februar 2025.
Eine solche Möglichkeit ist das Self-Consistency-Prompting, welches dazu dient, konfabulierte Antworten des Sprachmodells durch Variationen der Anfragen (Prompts) oder gleich bleibende Mehrfachanfragen zu erkennen.
Auch ein geeignetes Prompting, welches dem KI-Modell ermöglicht, eine Frage nicht beantworten zu müssen, kann zu einer Verringerung – jedoch nicht Verhinderung – konfabulierter Antworten führen. Beispielsweise kann man statt „Wer war der Bundespräsident von Deutschland 2017?“ die Frage als „Weißt du, wer der Bundespräsident von Deutschland 2017 war?“ formulieren. Dies ermöglicht es dem System, eine Antwort wie „Nein, weiß ich leider nicht“ zu formulieren, anstatt zu versuchen, die Antwort zu erraten.
Eine weitere Möglichkeit besteht darin, mittels die Anfrage des Benutzers mit gesicherten Informationen aus dem Internet oder einer Datenbank anzureichern, sofern die nötigen Daten vorhanden sind.
Ein weiterer, einfach und stabil zu handhabender Weg besteht darin, der KI ein Template vorzugeben, das ausschließlich geprüfte Zitate zulässt und zusätzliche, nicht belegte Fundstellen gesondert aufführt und als „wahrscheinlich“ kennzeichnet. Die geprüften Zitate müssen ungeachtet dessen anschließend selbstverständlich „händisch“ anhand der von der KI mitgeteilten Fundstellen verifiziert werden.
Template für dauerhafte Arbeit mit verifizierten Zitaten Ich lege folgende Regeln für alle Antworten fest: Du verwendest nur verifizierte Zitate mit prüfbarer Quelle. Wenn eine Information nicht sicher belegt ist, markierst du sie mit „nicht belegt“. Wenn eine Fundstelle möglich ist, aber nicht geprüft, markierst du sie mit „nicht geprüft“. Du erfindest keine Quelle. Du gibst keine Vermutung als Tatsache aus. Wenn es keine belastbare Quelle gibt, sagst du klar „keine belastbare Information“. Diese Regeln gelten für alle Antworten und bleiben aktiv, bis ich sie deaktiviere. Aktiviere diese Regeln jetzt und bestätige die Übernahme.
Begriffliche Kritik Forscher der Universität Glasgow merkten 2024 an, die Metapher der Halluzination könnte bei politischen Entscheidungsträgern und Öffentlichkeit falsche Assoziationen über die Funktionsweise künstlicher neuronaler Netze wecken. Anstelle einer vermeintlichen Fehlrepräsentation der Wirklichkeit müsse ein Begriff verdeutlichen, dass derartige Ausgaben gänzlich wirklichkeitsfern und der internen Funktionsweise der KI-Modelle geschuldet seien. Sie schlugen daher die Nutzung des von Harry Frankfurt etablierten Begriffs „Bullshit“ vor. (englisch) Ähnliche Kritik kam bereits zuvor durch Netzaktivisten auf.
KI-Halluzinationen in rechtlichen Verfahren Unterschieden werden falsche Zitate als falsch zitierte oder falsch wiedergegebene Inhalte sowie fabrizierte Beweisstücke als komplett erfundene Dokumente oder Beweismittel, die es in der Realität nie gab.Damien Charlotin: AI Hallucination Cases.
Im Juni 2024 wurde in einer Studie der Stanford University festgestellt, dass juristische KI-Tools noch unzuverlässig seien. Die Konsequenzen für die Einreichung falscher Inhalte, die von KI generiert wurden, können von einem Vertrauens- und Ansehensverlust bis hin zu rechtlichen Konsequenzen reichen (Verletzung anwaltlicher Sorgfaltspflichten, vorsätzliche Täuschung).
Deutschland In einer Angelegenheit über einen Unterrichts-/Coachingvertrag musste das OLG Celle im April 2025 zur Position der Beklagten an vier Stellen feststellen: Die Problematik wurde öffentlich thematisiert.OLG Celle, Beschluss vom 29. April 2025 – 5 U 1/25