Als KI-Halluzination (auch „Konfabulation“) bezeichnet man eine überzeugend formulierte, aber sachlich falsche oder frei erfundene Ausgabe eines KI-Modells. Der Begriff hat keine gesetzliche Definition; er beschreibt ein technisches Verhalten großer Sprachmodelle. Weil diese Modelle Antworten nach Wahrscheinlichkeit erzeugen und keine eigene Faktenprüfung vornehmen, können sie Quellen, Zahlen oder Zitate erfinden, die es nie gegeben hat – und tun dies im selben selbstsicheren Ton wie bei korrekten Angaben.
Ein Sprachmodell sagt auf Basis seiner Trainingsdaten das jeweils wahrscheinlichste nächste Wort voraus. Es „versteht“ Inhalte nicht im menschlichen Sinne und verfügt nicht über ein geprüftes Faktenwissen. Fehlen belastbare Informationen oder ist eine Frage sehr speziell, füllt das Modell die Lücke mit einer plausibel klingenden Erfindung. Halluzinationen sind damit kein seltener Ausrutscher, sondern eine systembedingte Eigenschaft. Wie häufig sie auftreten, hängt stark von Modell und Anwendungsfeld ab: Eine Untersuchung der Universität Stanford fand bei spezifischen juristischen Fragen je nach Modell Fehlerquoten von 69 bis 88 Prozent (Stand: 2024).
Für Unternehmen sind Halluzinationen mehr als ein Qualitätsproblem. Wer eine falsche KI-Ausgabe ungeprüft übernimmt, kann fehlerhafte Auskünfte an Kunden geben, falsche Rechts- oder Fachaussagen verbreiten oder Entscheidungen auf erfundener Grundlage treffen. Ein anschauliches Beispiel: Übernimmt eine Sachbearbeiterin eine von der KI frei erfundene Gerichtsentscheidung oder Fristangabe ungeprüft in ein Kundenschreiben, haftet dafür nicht das KI-System, sondern das Unternehmen. Damit berühren Halluzinationen Sorgfalts- und Haftungsfragen. Der EU AI Act begegnet dem unter anderem mit der Pflicht zur menschlichen Aufsicht bei Hochrisiko-Systemen (Art. 14 KI-VO) sowie Anforderungen an Genauigkeit und Robustheit (Art. 15). Die Europäische Kommission nennt Halluzinationen ausdrücklich als eines der Risiken, über die Beschäftigte im Rahmen der KI-Kompetenz nach Art. 4 informiert sein müssen.
Halluzinationen lassen sich nicht vollständig verhindern, aber wirksam eindämmen. Bewährt haben sich das Vier-Augen-Prinzip bei wichtigen Ausgaben, das Einfordern von Quellen, der Einsatz von Verfahren wie Retrieval-Augmented Generation (die das Modell in geprüften Dokumenten nachschlagen lassen) und klare interne Regeln, wofür KI genutzt werden darf. Die wichtigste Schutzmaßnahme bleibt jedoch der geschulte Mensch: Nur wer weiß, dass KI überzeugend irren kann, prüft ihre Ergebnisse kritisch. Genau dieses Bewusstsein zu vermitteln, ist ein Kernziel jeder KI-Kompetenzschulung – einen Überblick der Grundbegriffe bietet das KI-Glossar. Weitere Beiträge zum Thema bündelt der Themen-Hub Künstliche Intelligenz.
Sind KI-Halluzinationen vermeidbar?
Vollständig vermeiden lassen sie sich nicht, weil sie in der Funktionsweise von Sprachmodellen angelegt sind. Man kann sie aber deutlich reduzieren – etwa durch Quellenpflicht, Verfahren wie Retrieval-Augmented Generation und vor allem durch eine kritische menschliche Prüfung wichtiger Ausgaben.
Warum sind Halluzinationen ein rechtliches Risiko?
Wer falsche KI-Ausgaben ungeprüft übernimmt, kann fehlerhafte Auskünfte verbreiten oder Entscheidungen auf erfundener Grundlage treffen. Das berührt Sorgfalts- und Haftungspflichten. Der EU AI Act verlangt für Hochrisiko-Systeme deshalb menschliche Aufsicht (Art. 14) und fordert, dass Beschäftigte über Risiken wie Halluzinationen aufgeklärt sind (Art. 4).
Einblicke in das digitale Lernen der Zukunft mit Fokus auf KI, Compliance und moderne Schulungslösungen. Entdecken Sie die neuesten Beiträge und aktuelle Artikel, um praxisnahe Insights zu rechtssicherer, effizienter und automatisierter Weiterbildung im Unternehmen zu erhalten.
Unterweisungen und Weiterbildungen auditsicher, einfach und passgenau.
Hinweis: Texte, Bilder und Videos auf dieser Website wurden teilweise mit Künstlicher Intelligenz generiert.
Alle Inhalte dienen der Information und wurden sorgfältig journalistisch geprüft, erheben jedoch keinen Anspruch auf Vollständigkeit oder rechtliche Verbindlichkeit.
.webp)