Legal AI Research Challenge von Weblaw

Vor kurzem hat Weblaw eine Legal AI Research Challenge durchgeführt und verschiedene Legaltech-Tools miteinander verglichen. Angetreten sind das kostenlose Tool OpenCaseLaw (mit Claude Opus 4.8) und die kostenpflichtigen Angebote von Silex, Omnilex, Unplex, Jurata, Lawsearch und Libra.

Den Tools wurden vier Fälle mit den gleichen Prompts gestellt. Die Fälle deckten unterschiedliche Rechtsgebiete ab: Fall 1 betraf den Entzug einer Fahrlehrerbewilligung (Verwaltungs- und Strassenverkehrsrecht), Fall 2 die Beschwerdelegitimation nach Art. 298 Abs. 2 SchKG (Nachlassverfahren), Fall 3 die Verwertbarkeit von Dashcam-Aufnahmen Privater im Strafverfahren (mit eingebauter Subtilität zum anwendbaren Datenschutzrecht) und Fall 4 die Rechtsmittel gegen Sozialhilfeentscheide im Kanton Bern.

Beobachtet wurde entlang von sechs Achsen, namentlich inhaltliche Richtigkeit, Quellenabdeckung, Volltext-Zugriff und Verlinkung, Halluzinationen, Aktualität und Versionierung sowie der Umgang mit Widersprüchen und dem Instanzenzug. Die Synthese von Weblaw verzichtet bewusst auf eine Rangliste.

Hier die Auswertung:

AI Legal Research Challenge - Vergleichende Analyse.pdf

Meine Einschätzung

Welches Tool für eine bestimmte Organisation das richtige Tool ist, lässt sich meines Erachtens aus dieser Evaluation nicht herauslesen, sondern hängt von jeweiligen konkreten Bedürfnissen ab.

Meines Erachtens zeigt aber die Challenge, dass es für die reine Legal-Research-Funktion über Erlasse und Entscheide nicht zwingend ein teures Tool braucht.

  1. Erstens lassen sich Rechtsfragen in vielen Konstellationen abstrakt formulieren, sodass sich die Frage nach dem Berufs- oder Amtsgeheimnis gar nicht erst stellt. Aus diesem Grund braucht es also kein spezifisches Legaltechtool. Wer die Rechtsfrage von den identifizierenden Sachverhaltselementen löst, kann vielmehr das volle Spektrum verfügbarer Tools nutzen, insbesondere das KI-Tool seines Vertrauens, wie ChatGPT/Claude etc., mit einer Verbindung zu Opencaselaw. Wie man Opencaselaw einrichtet, hat @Jonas Hertner in einem kurzen Tutorial in der Bubble gezeigt, vgl. #Aufzeichnung Webinar # 31 Opencaselaw

  2. Zweitens scheint es auch so, dass die LegaltechTool bezüglich juristischer Daten für Erlasse und Entscheide keinen Vorteil bieten. Das kostenlose Tool OpenCaseLaw erreicht in Kombination mit Claude Opus 4.8 in der Challenge mindestens ebenso gute Resultate wie die kostenpflichtigen Angebote.

Das heisst nicht, dass die kostenpflichtigen Angebote keinen Mehrwert bieten. Verlinkungen mit Highlighting der relevanten Stelle, exklusiver redaktioneller Content (insbesondere Kooperationen mit Schweizer Verlagen), Zusatzfunktionen wie eine automatische Verifikation (vgl. #Verifikationslayer), eine durchdachte UX und weitere Funktionen neben dem reinen Research sind Qualitäten, die je nach Arbeitsumgebung viel wert sind. Für einen reinen Legal Research über Gesetzesartikel und Gerichtsentscheide ist die kostenpflichtige Lösung über ein Legaltechtool aber, jedenfalls in dieser Momentaufnahme, kein notwendiger Schritt.

Wer sich ein Überblick für die Tools machen möchten, findet nachfolgend die Links zu den Aufzeichnung der entsprechenden Webinare: