Wie juristisch präzise sind Review Tables?

Grosse Sprachmodelle (LLMs) eignen sich hervorragend für die Generierung von Texten. Doch wie gut funktionieren sie bei einer anderen, für die juristische Praxis wichtigen Aufgabe, nämlich der systematischen Extraktion von Informationen aus grossen Dokumentenbeständen?

Legal-Tech-Anbieter wie Harvey und Legora haben dafür spezialisierte Anwendungen entwickelt, die als “Review Tables” oder “Tabular Reviews” bezeichnet und von diesen Anbieter auch als Mehrwert gegenüber generischen KI-Tools beworben werden. Die Idee solcher Review-Tables ist einfach: Statt hunderte Verträge, Gerichtsentscheide oder andere Dokumente einzeln durchzulesen, analysiert die KI jedes Dokument und trägt die gewünschten Informationen in eine strukturierte Tabelle ein. Diese Tabelle lässt sich nachher in der Legal-Tech-Anwendung weiterbearbeiten oder z.B. als Excel-File runterladen. Das Versprechen dieses Features ist eine erhebliche Zeitersparnis bei der Auswertung grosser Dokumentenbestände. Aber wie zuverlässig sind diese Tabellen tatsächlich?

Erstmals eine umfassende Untersuchung

Ein interdisziplinäres Team hat die Genauigkeit solcher Systeme erstmals in einer gross angelegten Studie untersucht. Die Ergebnisse wurden kürzlich in der aktuellen Anwaltsrevue veröffentlicht (@Adrian König, Maximilian Hauser, Daniel Tscheraghsepher, Philip Pawlowsky, Arne Holicki, @Roman Wixinger, «Wie juristisch präzise arbeiten KI-Tools?», Anwaltsrevue 9/2026, S. 404 ff.). Den Artikel sollte jeder Jurist lesen, welcher eine solche Tabular-Funktion in der Praxis einsetzen möchte.

Der Kern des Prüfdatensatzes der von König et al veröffentlichten Studie umfasst acht Rechtsordnungen mit jeweils mindestens 100 zufällig ausgewählten Urteilen. Als Grundlage dienten zivilrechtliche Urteile höchstinstanzlicher Gerichte, darunter auch 130 Urteile des Schweizerischen Bundesgerichts. Juristen aus den jeweiligen Rechtsordnungen werteten diese Urteile vorab anhand von zehn inhaltlichen Merkmalen manuell aus. Erfasst wurden beispielsweise das Rechtsgebiet, die Anzahl der Verfahrensparteien, der Verfahrensbeginn oder der Streitwert. Diese manuell erstellten Datensätze dienten anschliessend als Referenzmassstab für die Bewertung der KI-Systeme. Wichtig ist dabei: Nicht jedes Urteil enthielt sämtliche gesuchten Informationen. Rund ein Drittel der Felder blieb bei der manuellen Auswertung leer. Ein zuverlässiges System muss deshalb nicht nur vorhandene Informationen korrekt erkennen, sondern auch feststellen können, wann sich eine Angabe aus einem Dokument nicht entnehmen lässt.

Anschliessend liessen die Autoren den Datenbestand durch vier Tabular-Review-System auswerten, nämlich durch die kommerziellen Anwendungen von Harvey und Legora sowie mit zwei selbst entwickelten Extraktionsprogramme auf Basis führender Sprachmodelle.

Die Resultate sind ernüchternd

Das zentrale Ergebnis: Keines der vier untersuchten Systeme konnte im rechtsordnungsübergreifenden Vergleich mehr als zwei Drittel (sic!) der von den Experten ermittelten Angaben korrekt wiedergeben. Die Autoren verwendeten dabei drei Kennzahlen, um die Zuverlässigkeit der Systeme zu messen.

• Recall (Trefferquote): Von 100 tatsächlich vorhandenen Angaben erkannten die KI-Systeme je nach Anwendung lediglich 59 bis 67 korrekt. Rund ein Drittel der verfügbaren Informationen ging damit verloren oder wurde nicht richtig erfasst.

• Precision (Präzision): Von 100 durch die Systeme ausgegebenen Werten stimmten zwischen 61 und 83 mit dem Referenzdatensatz überein. Ein erheblicher Teil der ausgegebenen Informationen war somit unzutreffend.

• False-Fill-Rate: Von 100 Feldern, welche die Experten leer gelassen hatten, befüllten die Systeme zwischen 9 und 42 dennoch mit einem Wert. Die KI lieferte also auch dort Antworten, wo nach dem Referenzmassstab keine Angabe hätte gemacht werden dürfen.

Schweizer Bundesgerichtsurteile schneiden deutlich besser ab

Interessant sind die Ergebnisse bezüglich der Urteile des Bundesgerichts. Bei diesen erreichten die untersuchten Systeme Recall-Werte zwischen rund 87 und 92 %. Sie konnten damit einen wesentlich grösseren Anteil der vorhandenen Informationen korrekt extrahieren als im rechtsordnungsübergreifenden Durchschnitt.

Eine mögliche Erklärung liegt nach den Autoren im vergleichsweise einheitlichen Aufbau der bundesgerichtlichen Rechtsprechung. Die Urteile folgen regelmässig einer ähnlichen Struktur mit Rubrum, Sachverhalt, Erwägungen und Dispositiv. Bestimmte Angaben finden sich deshalb häufig an derselben Stelle und in vergleichbarer Form. Allerdings relativiert sich dieses positive Ergebnis bei einem Blick auf die False-Fill-Rate. Diese schwankte bei den Schweizer Urteilen je nach System zwischen 7.7 % und 79.4 %. Einzelne Systeme befüllten somit einen sehr grossen Anteil der Felder, die nach dem Referenzmassstab leer bleiben sollten.

Die Untersuchung liefert noch eine weitere interessante Erkenntnis: Entgegen einer naheliegenden Vermutung konnten die Autoren keinen erkennbaren Zusammenhang zwischen dem Grad der erforderlichen juristischen Wertung und der Trefferquote feststellen. Entscheidend scheine vielmehr zu sein, so die Autoren, wie regelmässig und einheitlich eine Information in den Dokumenten vorkomme. Die Anzahl der Verfahrensparteien beispielsweise lasse sich häufig direkt dem Rubrum entnehmen. Solche wiederkehrenden Muster scheinen den Systemen die Extraktion zu erleichtern.

Was bedeutet das für die anwaltliche Praxis?

Die Studie zeigt, dass Review Tables bereits heute nützliche Werkzeuge sind, ihre Ergebnisse aber keineswegs ungeprüft übernommen werden dürfen (wie kein Output einer KI-Anwendung). Sie sollten vielmehr als erste Arbeitsentwürfe verstanden werden. Ein grosser Vorteil vieler Review-Table-Anwendungen liegt immerhin darin, dass sie ihre Ergebnisse mit den entsprechenden Fundstellen im Originaldokument verknüpfen. Das erleichtert die menschliche Überprüfung, denn statt ein ganzes Dokument erneut durchsuchen zu müssen, kann der Jurist unmittelbar zur relevanten Textstelle springen und kontrollieren, ob die extrahierte Angabe zutrifft. Während sich ein aber ausgegebener Wert anhand der verlinkten Fundstelle relativ einfach kontrollieren lässt, ist die Überprüfung einer leeren Tabellenzelle häufig viel aufwendiger. Um sicherzustellen, dass eine Information tatsächlich nicht vorhanden ist, muss unter Umständen das ganze Dokument erneut durchsucht werden. Die KI erleichtert damit die Kontrolle ihrer positiven Ergebnisse, nicht aber zwingend die Kontrolle ihrer Auslassungen. Gerade bei Aufgaben, die eine vollständige Erfassung aller relevanten Informationen voraussetzen, ist das eine erhebliche Einschränkung.

Neben der einfacheren Kontrolle können solche Review Tables für interne Arbeitsprozesse einen Mehrwert bieten. Sie eignen sich beispielsweise für die erste Sichtung und Triage grosser Dokumentenbestände, die Priorisierung von Fällen oder die Zuweisung von Aufgaben innerhalb eines Teams. Bei solchen Anwendungen muss nicht zwingend jede einzelne Angabe von Anfang an vollständig korrekt sein, solange die Fehlerquote bekannt ist und die Konsequenzen einer fehlerhaften Einordnung beherrschbar bleiben.

Eine vollständige Tabelle ist noch keine vollständige Analyse

Die Untersuchung ist ein wichtiger Beitrag zur Diskussion über den praktischen Nutzen von Legal-AI-Tools. Sie macht deutlich, wie gross die Unterschiede zwischen einer überzeugenden Benutzeroberfläche und der tatsächlichen Zuverlässigkeit der dahinterliegenden Informationsverarbeitung sein können. Eine sauber ausgefüllte Tabelle vermittelt schnell den Eindruck einer systematischen und vollständigen Auswertung. Genau dieser Eindruck kann jedoch trügerisch sein.

Noch eine Frage ist für die Praxis entscheidend: Wie gross ist die tatsächliche Zeitersparnis, wenn jeder einzelne Wert anschliessend sorgfältig überprüft werden muss? Eine hohe Extraktionsgeschwindigkeit durch das KI-Tool bedeutet also nicht automatisch einen entsprechenden Effizienzgewinn im gesamten Arbeitsprozess. Dazu müsste auch der Aufwand für die Kontrolle, Korrektur und Ergänzung der Tabellen berücksichtigt werden. Es wäre deshalb interessant, nicht nur KI-Systeme untereinander zu vergleichen, sondern auch hybride Arbeitsprozesse mit einer vollständig manuellen Auswertung. Dabei könnten neben Zeitaufwand und Kosten auch die verbleibenden Fehler gemessen werden. Denn selbstverständlich arbeiten auch menschliche Juristen nicht fehlerfrei. Vielleicht eine Idee für eine weitere Untersuchung?

Klar ist meines Erachtens, dass es mehr solche Untersuchungen braucht. Wer KI-Anwendungen für die juristische Praxis einsetzt, sollte nämlich nicht nur wissen, was ein System technisch leisten kann, sondern auch, welche Fehler es macht, welche Informationen es übersieht und wie viel menschliche Kontrolle notwendig bleibt.