Harvey Tenet: Ein juristisches KI-Modell als strategischer Wendepunkt?
Harvey hat mit "Tenet" erstmals ein eigenes, speziell für juristische Arbeiten nachtrainiertes KI-Modell vorgestellt. Das Unternehmen entwickelte dabei kein Grundlagenmodell von Grund auf. Ausgangspunkt ist vielmehr Kimi K3, ein frei verfügbares Open-Weight-Modell des chinesischen Unternehmens Moonshot AI. Harvey versucht, diesem allgemeinen Modell im nachgelagerten Training beizubringen, komplexe juristische Aufträge möglichst vollständig und effizient zu bearbeiten.
Training an realitätsnahen Mandatsaufgaben
Tenet wurde gemeinsam mit Fireworks AI mittels Reinforcement Learning nachtrainiert. Das Training beruhte auf synthetischen Daten, öffentlich verfügbaren juristischen Daten und von menschlichen Experten erstellten Daten. Nach Angaben von Harvey wurden dafür keine Kundendaten verwendet.
Spannend ist weniger die Menge juristischen Wissens, sondern die Art der Trainingsaufgaben. Das Modell erhielt nicht einfach einzelne Rechtsfragen, sondern juristische Aufgaben, wie sie in der Praxis vorkommen, z.B. eine kurze Anweisung, wie sie ein Partner einem Associate erteilen könnte. Dazu kam ein fiktives Mandat mit relevanten und irrelevanten Dokumenten sowie den notwendigen Werkzeugen zur Durchsuchung und Bearbeitung der Unterlagen. Das Modell musste dann selbständig erkennen, welche Informationen relevant sind, die Dokumente analysieren und ein überprüfbares Arbeitsergebnis erstellen.
Dieser Ansatz unterscheidet sich dabei von klassischen juristischen Benchmarks. Diese prüfen häufig, ob ein Modell eine Rechtsfrage richtig beantwortet. Tenet wurde dagegen darauf trainiert, einen praktischen juristischen Arbeitsablauf zu bewältigen.
Was zeigen die Ergebnisse?
Harvey testete Tenet mit dem eigenen Legal Agent Benchmark, kurz LAB. Dieser umfasst mehr als 1’200 Aufgaben aus 24 juristischen Tätigkeitsgebieten. Für die Beurteilung verwendet Harvey eine strenge "All-pass"-Metrik. Eine Aufgabe gilt nur dann als vollständig bestanden, wenn das Ergebnis sämtliche Bewertungskriterien erfüllt. Ein weitgehend richtiges Resultat, bei dem beispielsweise eine wesentliche Fundstelle oder eine verlangte Empfehlung fehlt, besteht die Aufgabe nicht.
Nach den von Harvey und Fireworks veröffentlichten Zahlen erreichte Tenet beim allgemeinen LAB eine All-pass-Quote von 19.7 %. Das ursprüngliche Kimi-K3-Modell kam auf 10.8 %. Die teilweise kommunizierte Verbesserung von rund 82 % ist deshalb richtig einzuordnen: Es handelt sich um die relative Steigerung von 10.8 % auf 19.7 % und nicht um eine Erfolgsquote von 82%. Absolut betrachtet stieg die Quote um knapp neun Prozentpunkte. Die zentralen LAB-Ergebnisse stammen jedoch aus von Harvey durchgeführten Evaluationen. Auch Tenet selbst ist derzeit nicht allgemein als Modell verfügbar. Eine unabhängige Reproduktion der wichtigsten Resultate steht daher noch aus.
Die Ergebnisse zeigen damit zweierlei: Erstens kann ein gezieltes Nachtraining die Fähigkeit eines Modells zur Bearbeitung komplexer juristischer Arbeitsabläufe nach den von Harvey veröffentlichen Zahlen deutlich verbessern. Zweitens besteht weiterhin ein beträchtlicher Abstand zu einer durchgehend zuverlässigen automatischen Erledigung solcher Aufgaben. Selbst Tenet bestand nach der strengsten Metrik weniger als jede fünfte allgemeine juristische Aufgabe vollständig.
Warum ist Tenet für Harvey strategisch wichtig?
Harvey ist als Multi-Modell-Plattform konzipiert und integriert unter anderem Modelle von OpenAI, Anthropic und Google. Je nach Aufgabe kann die Plattform unterschiedliche Modelle einsetzen. Dies ermöglicht es, jeweils das leistungsfähigste oder kostengünstigste Modell auszuwählen und bei Ausfällen oder regulatorischen Einschränkungen auf andere Anbieter auszuweichen.
Diese Architektur schafft jedoch auch Abhängigkeiten. Für jede Nutzung eines externen Modells fallen Kosten an. Gleichzeitig entwickeln die grossen Modellanbieter zunehmend eigene Angebote für juristische Arbeiten. Ein Unternehmen wie Harvey bezieht damit zentrale Technologie von Anbietern, die selbst verstärkt im Rechtsmarkt auftreten, wie z.B. Claude #"Claude for the legal industry" und #Anthropics „German Professional Secrecy Addendum"
Ein von Harvey kontrolliertes Modell könnte diese Abhängigkeit reduzieren. Harvey hätte mehr Einfluss auf das Verhalten des Modells, könnte Verbesserungen gezielter auf juristische Arbeitsabläufe ausrichten und bestimmte Aufgaben möglicherweise günstiger bearbeiten. Tenet dürfte die bestehenden Modelle dennoch nicht vollständig ersetzen. Wahrscheinlicher ist, dass es eine weitere spezialisierte Option innerhalb von Harveys Multi-Modell-System wird. Allgemeine Spitzenmodelle könnten weiterhin dort eingesetzt werden, wo sie bessere Ergebnisse erzielen. Tenet käme dagegen bei Aufgaben zum Einsatz, für die das Modell gezielt trainiert wurde.
Ein eigenes Modell für jede Kanzlei?
Harveys weitergehende Forschungsagenda ist möglicherweise noch bedeutender als Tenet selbst. Das Unternehmen möchte Systeme entwickeln, mit denen Kanzleien eigene spezialisierte Modelle erstellen und ihre "Intelligenz" selbst besitzen können.
Die Grundannahme ist nachvollziehbar. Die meisten Kanzleien werden kein Grundlagenmodell von Grund auf entwickeln. Sie verfügen aber über wertvolles Wissen darüber, wie ihre Anwälte arbeiten, welche Argumentationsmuster sie verwenden, wie sie Risiken bewerten, wie sie Verträge formulieren und welche Qualitätsstandards sie anwenden.
Tenet könnte als gemeinsamer Ausgangspunkt dienen. Eine Kanzlei könnte das Modell anschliessend mit eigenen Beispielen und Arbeitsabläufen weiter anpassen. Das Ergebnis wäre nicht bloss ein Modell mit allgemeinem juristischem Wissen, sondern ein System, das sich an der besonderen Arbeitsweise einer Kanzlei orientiert.
Ob Kanzleien dadurch ihre "Intelligenz" tatsächlich besitzen, hängt allerdings von der konkreten Umsetzung ab: Entscheidend wären unter anderem der Zugang zu den Modellgewichten, die Rechte am nachtrainierten Modell, die Übertragbarkeit der Daten und die Möglichkeit, das Modell auch unabhängig von Harvey weiterzuverwenden. Ohne entsprechende vertragliche und technische Kontrolle könnte lediglich eine neue Form der Anbieterabhängigkeit entstehen.
Hinzu kommt die Frage der Datenqualität: Das in Dokumenten gespeicherte Kanzleiwissen ist nicht automatisch konsistent oder richtig. Veraltete Vorlagen, widersprüchliche Arbeitsweisen und Dokumente sowie mandatsbezogene Besonderheiten dürfen nicht unkontrolliert in ein Modell einfliessen.
Für Kanzleien aus kleineren oder mehrsprachigen Rechtsordnungen stellt sich zudem die Frage, wie gut sich die bisherigen Ergebnisse des Modells übertragen lassen. Die veröffentlichten Benchmarkzahlen sagen noch wenig darüber aus, wie Tenet beispielsweise mit schweizerischem Recht, kantonalen Unterschieden oder deutsch-, französisch- und italienischsprachigen Dokumenten umgehen würde.
Einordnung
Tenet ist noch kein Beweis dafür, dass spezialisierte Modelle allgemeine Spitzenmodelle im juristischen Bereich verdrängen werden. Die bisher veröffentlichten Zahlen stammen weitgehend aus dem Umfeld des Herstellers, und die absoluten Erfolgsquoten bleiben begrenzt. Das Projekt deutet jedoch an, wohin sich juristische KI entwickeln könnte: Künftig könnten nicht nur Anbieter eigene juristische Modelle entwickeln. Denkbar ist auch, dass grosse Kanzleien allgemeine Modelle gezielt mit ihren eigenen Arbeitsweisen und ihrem internen Wissen nachtrainieren. Der Wettbewerb würde damit nicht mehr nur bei den Benutzeroberflächen und angeschlossenen Datenbanken stattfinden, sondern zunehmend auch auf der Ebene kanzleispezifischer Modelle.
Quellen: