Halluzinationsfrei?

Einige Anbieter von Legal-Tech-Tools - Namen nenne ich bewusst keine - behaupten auf den sozialen Medien immer mal wieder, ihre KI-Lösungen seien „halluzinationsfrei“. Auf die Problematik dieser Aussage wurde schon öfters aufmerksam gemacht, z.B. kürzlich von Roxana Sharifi.

Heute bin ich zufällig auf folgende Studie gestossen: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools [2405.20362] Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools Die Studie aus dem Jahr 2024 zeigt: Zwar treten Halluzinationen bei spezialisierten juristischen KI-Tools seltener auf als bei allgemeinen Chatbots (in der Untersuchung: GPT-4). Dennoch halluzinieren die in der Untersuchung geprüften Systeme von LexisNexis (Lexis+ AI) und Thomson Reuters (Westlaw AI-Assisted Research und Ask Practical Law AI) immer noch in 17 % bis 33 % der Fälle.

Damit bestätigt die Studie, was viele in der Praxis bereits beobachten: Auch spezialisierte, kommerzielle Tools produzieren falsche Informationen. Selbst wenn man davon ausgeht, dass die Halluzinationsraten mit neueren Modellen weiter gesunken sind (die Studie stammt aus 2024), bleibt die zentrale Erkenntnis bestehen: „Halluzinationsfrei“ gibt es derzeit mit reinen KI-Tools nicht. Auch die Verwendung von RAG kann Halluzinationen nicht vollständig verhindern. Zwar ist es denkbar, dass man KI-Systeme mit regelbasierten Ansätzen kombiniert und z.B. kontrollieren lässt, ob es den von der KI zitierten Entscheid tatsächlich gibt (worauf auch Jörn Erbgut kürzlich hingewiesen hat). Damit ist man zwar einen Schritt weiter. Ob die zitiere Aussage aber stimmt, also tatsächlich das belegt, was behauptet wird, weiss man damit immer noch nicht.