Verifikationslayer

Ich habe schon oft über Halluzinationen von KI im Rechtsbereich und die Verifikationspflicht von uns Anwälten geschrieben. Für meine KI-Tagung, welche nächste Woche stattfindet, bin ich gerade verschiedenen KI-Tools am Testen. Spannend finde ich in diesem Zusammenhang, dass mehrere Anbieter eine automatische Prüfung des KI-Outputs in ihr Tool eingebaut haben, welche den Nutzer bei der Prüfung der KI-generierten Aussagen unterstützt.

So führt Jurata beispielsweise eine automatische Verifikation der Recherche durch, mit der sich einzelne Halluzinationstypen erkennen lassen (zu den verschiedenen Typen: #Typologie der KI-Halluzinationen im Rechtsbereich). Eine ähnliche Funktion kennt auch Lexplorer und Casus hat eine Proof-Read-Funktion.

@Luca Elia Fábián, der Gründer von Jurata, hat zur Verifikation bei Jurata auch schon in der Bubble geschrieben, vgl. #Typologie der KI-Halluzinationen im Rechtsbereich#comment : “Wir [=Jurata] haben einen semantischen Verifizierungs-Loop implementiert, der jede mit einer Quelle belegte Aussage einzeln mittels eines leistungsfähigen LLMs darauf überprüft, ob die verwendete Quelle die betreffende Aussage tatsächlich inhaltlich stützt oder nicht. Das funktioniert in vielen Fällen sehr gut, aber natürlich nicht perfekt. Gerade in nuancierten Konstellationen kommt es hin und wieder zu Fehlern, die für das menschliche juristische Auge erkennbar sind, (noch) nicht aber für SOTA LLMs.“

So sieht das übrigens in der Jurata App aus:

Auf der einen Seite begrüsse ich es sehr, dass die Anbieter das Halluzinationsproblem technisch anpacken. Auf der anderen Seite warne ich davor, daraus einen Freibrief abzuleiten. Diese technischen Lösungen ersetzen nicht das juristische Urteilsvermögen und auch nicht die menschliche Verifikationspflicht. Verantwortlich für das, was am Ende in der Rechtsschrift oder im Memo steht, bleiben wir.

Hinzu kommt ein psychologischer Effekt: Wenn das Tool selbst die Verifikation übernimmt und uns ein grünes Häkchen anzeigt, sinkt erfahrungsgemäss die Bereitschaft, selbst noch einmal hinzuschauen (“Das Tool hat es ja kontrolliert”). Diese Automatisierungsverzerrung (Automation bias - Wikipedia) ist gut dokumentiert. Je besser die automatische Verifikation funktioniert, desto grösser wird paradoxerweise die Gefahr, dass wir uns auf sie verlassen und allenfalls einen Fehler übersehen. Automatische Verifikationslayer sind also kein Ersatz für unsere eigene menschliche Sorgfalt, sondern ein Werkzeug, das wir verstehen und richtig einordnen müssen.