KI hat Mühe mit Änderungen in den Präjudizien

Im anglo-amerikanischen Case-Law – aber auch in der bundesgerichtlichen Rechtsprechung der Schweiz – spielt es eine entscheidende Rolle, ob bei Präzedenzfällen durch spätere Urteile das Präjudiz geändert oder aufgehoben wird. Eine neuere Studie (Link im Kommentar) zeigt auf, dass LLMs solche Veränderungen in der Rechtslage nur ungenügend erkennen und darstellen können.

Für die Studie wurden 236 Fälle des obersten amerikanischen Gerichtshofs, in denen das Präjudiz aufgehoben wurde, mit einem besonderen Datencorpus der je das ursprüngliche und das aufhebende Urteil enthielt, untersucht. Das Ergebnis zeigt folgendes auf:
(1) Epochenabhängigkeit: Die Modelle zeigen bei historischen Fällen im Vergleich zu zeitnahen eine geringere Leistung, was auf eine zeitliche Verzerrung in ihrem Training hinweist.
(2) Oberflächliches «Denken»: Die Modelle stützen sich auf oberflächliche logische Heuristiken anstatt auf ein tiefes juristisches Verständnis.
(3) Kontextabhängige «Denkfehler»: Die Modelle erzeugen in komplexen, offenen Aufgaben zeitlich unmögliche Beziehungen.

Die Studie kommt zum Schluss, dass «empirische Ergebnisse eine kritische Diskrepanz zwischen den aktuellen Fähigkeiten des LLM und den Anforderungen der Rechtspraxis aufzeigen», wobei die derzeitige KI-Technologie «die für juristische Anwendungen erforderlichen Zuverlässigkeitsstandards nicht erfüllt».

Das sollte alle Juristinnen und Juristen, die KI-Tools verwenden zur Vorsicht mahnen.