Typologie der KI-Halluzinationen im Rechtsbereich

Wer über künstliche Intelligenz im Recht spricht, erwähnt früher oder später Halluzinationen. Das Problem ist, dass die Rede von “der Halluzination” so tut, als handle es sich um ein einheitliches Phänomen. Als gäbe es nur zwei Zustände: Korrekt oder halluziniert.

Die Realität ist aber komplexer, denn Halluzinationen im juristischen Kontext lassen sich meines Erachtens in verschiedene Typen einteilen. Wer diese Typen versteht, kann die Risiken differenzierter einschätzen, bessere Kontrollmechanismen entwickeln und KI-Tools letztlich sinnvoller einsetzen. Ich habe sechs Typen von Halluzinationen unterschieden. Die sechs Typen sind nach steigender Erkennungsschwierigkeit geordnet und unterscheiden sich in zwei Dimensionen: Ob der generierte Inhalt selbst zutrifft und ob die angeführte Quelle korrekt, passend, vollständig und aktuell ist. Bei den Typen 1 und 2 ist bereits die KI-generierte Aussage falsch. Ab Typ 3 stimmt die Aussage zwar, die Probleme liegen aber in der Quellenarbeit oder der Anwendung.

Die Grenzen zwischen den Typen sind nicht immer trennscharf, und in der Praxis treten Mischformen auf. Trotzdem hilft die Unterscheidung, weil sie zeigt, dass “Halluzination” kein binäres Phänomen ist und die nötige Kontrolltiefe je nach Typ erheblich variiert.

Typ 1: Die Kompletterfindung

Am Anfang des Spektrums steht die komplette Erfindung. Die KI generiert eine falsche Aussage und belegt diese mit einer realistisch klingenden, aber nicht existierenden Quelle. Dieser Halluzinationstyp ist der spektakulärste und zugleich der am einfachsten erkennbare.

Typ 2: Der umgedeutete Entscheid

Etwas subtiler wird es, wenn die KI eine falsche Rechtsaussage generiert und diese auf eine real existierenden Quelle stützt. Die KI behauptet etwa fälschlicherweise, das Bundesgericht habe in einer bestimmten Situation die Haftung bejaht, und verweist dafür auf einen Entscheid, der tatsächlich existiert, in dem das Gericht aber eine ganz andere Fragestellung behandelt oder sogar das Gegenteil festhält. Die Quelle existiert, stützt die inhaltlich falsche Aussage aber nicht.

Typ 3: Die falsche Quelle

Bei Typ 3 generiert die KI eine inhaltlich korrekte Aussage, belegt diese aber mit einer Quelle, die es so nicht gibt. Dieser Typ ist also die umgekehrte Situation von Typ 2. Die KI behauptet etwa zutreffend, dass das Bundesgericht in einer bestimmten Situation die Haftung bejaht hat, gibt als Quelle aber einen nicht existierenden BGE an. Dieser Halluzinations-Typ ist tückischer als die vorangehenden. Wer den Inhalt des generierten Texts liest, nickt zunächst zustimmend, denn die rechtliche Analyse stimmt. Erst bei der Überprüfung der Referenz zeigt sich der Fehler. Die Verlockung ist gross, genau diese Überprüfung zu unterlassen, weil der Inhalt ja “richtig klingt”.

Zu diesem Halluzinationstyp gehört auch eine Variante, die nach meiner eigenen Erfahrung mit KI-gestützter Recherche häufiger vorkommt: Die von der KI formulierte Aussage stimmt, und auch die zitierte Verfahrensnummer des Entscheids ist korrekt, aber die angegebene Erwägungsnummer existiert nicht. Die KI verweist etwa auf “E. 3.3” eines Bundesgerichtsentscheids, der tatsächlich existiert, dessen Erwägungen aber bei E. 3.2 enden. Das ist besonders perfide, weil der Jurist den Entscheid findet, die angebliche Erwägung aber vergeblich sucht und sich zunächst fragt, ob er selbst einen Fehler macht.

Typ 4: Die falsche Zuordnung

Bei Typ 4 wird es interessant. Die KI führt etwas inhaltlich korrekt aus und zitiert eine real existierende Quelle. Die Quelle behandelt auch tatsächlich den genannten Rechtsbereich, passt aber nicht auf den konkreten Sachverhalt oder die konkret vorliegende Rechtsfrage.

Die Zuordnung ist also falsch. Das zitierte Bundesgerichtsurteil betrifft beispielsweise eine verwandte, aber eben doch andere Konstellation. Aus eigener Erfahrung finden sich solche kreativen Zitate auch bei menschlichen Anwälten, die eine Erwägung so weit dehnen, bis sie vermeintlich auf den eigenen Fall passt. Dass Anwälte Entscheide im Interesse ihrer Klienten möglichst günstig auslegen, gehört freilich zu ihrer Aufgabe. Etwas anderes ist es, wenn es die KI macht und der Jurist dies nicht bemerkt.

Typ 5: Die halbe Wahrheit

Anders als bei Typ 4 passt die Quelle bei Typ 5 tatsächlich auf den vorliegenden Sachverhalt. Das Problem liegt nicht in der Auswahl des Entscheids, sondern in dessen selektiver Wiedergabe. Die KI zitiert einen einschlägigen Entscheid korrekt, unterschlägt aber die entscheidenden Einschränkungen, Voraussetzungen oder Ausnahmen. Das Bundesgericht bejaht beispielsweise einen Anspruch, knüpft diesen aber an zwei kumulative Voraussetzungen. Die KI gibt den Anspruch korrekt wieder, erwähnt aber nur eine der beiden Voraussetzungen. Oder das Gericht formuliert einen Grundsatz, schränkt diesen in der nächste Erwägung aber für bestimmte Konstellationen ein, und genau diese Einschränkung fehlt in der KI-generierten Analyse.

Dieser Typ ist deshalb so gefährlich, weil alles, was die KI schreibt, an sich stimmt. Es fehlt aber ein Teil der Analyse. Der Jurist, der den Entscheid gegenliest, findet die von der KI wiedergegebenen Passagen tatsächlich vor und ist versucht, die Prüfung abzuschliessen. Dass der Entscheid aber noch einen weiteren Teil enthält, der die Aussage relativiert oder an Bedingungen knüpft, fällt nur auf, wer den Entscheid vollständig liest und nicht nur die von der KI hervorgehobenen Stellen.

Typ 6: Der Entscheid von gestern

Am Ende des Spektrums steht die überholte Quelle. Der Gerichtsentscheid existiert, die Zitierung stimmt, und die Anwendung auf die Sach- und Rechtslage ist korrekt, aber der Entscheid ist durch eine Rechtsprechungsänderung überholt. Ob man hier noch von einer Halluzination im engeren Sinn sprechen kann oder schlicht von veraltetem Wissen, ist diskutabel. Das Ergebnis für den Rechtsanwender ist aber dasselbe.

Was folgt daraus?

Nicht alle Halluzinationen sind gleich einfach zu erkennen. Die spektakulären Fälle von Typ 1 sind paradoxerweise am leichtesten zu entdecken. Die nachfolgenden, subtileren Typen erfordern eine tiefere fachliche Auseinandersetzung und sind gerade deshalb riskanter. Spätestens ab Typ 4 genügt eine einfache Datenbankabfrage nicht mehr. Es braucht ein vertieftes rechtliches Verständnis im betreffenden Gebiet, also die Fähigkeit, eine Quelle nicht nur zu finden, sondern auch fachlich korrekt einzuordnen. Je subtiler die Halluzination, desto mehr juristische Fachkompetenz verlangt ihre Erkennung. Das hat direkte Konsequenzen für die Frage, wer KI-generierte Rechtstexte kontrollieren kann und soll, und zeigt, dass juristisches Fachwissen auch in Zukunft unabdingbar bleibt.