Der Advocatus Diaboli aus der Maschine

Andrej Karpathy hat kürzlich einen Tweet geteilt, der einen Usecase auf den Punkt bringt, den jeder Jurist kennen sollte: https://x.com/karpathy/status/2037921699824607591?s=20 Karpathy beschreibt, wie er vier Stunden lang mit einem LLM an einem Blogpost gearbeitet und die Argumentation immer weiter verfeinert hat. Das Ergebnis fühlte sich überzeugend an. Dann bat er das LLM, die Gegenposition einzunehmen. Das Modell zerlegte seine eigene Argumentation und überzeugte ihn beinahe vom Gegenteil😁.

Warum das für Juristen Gold wert ist

LLMs sind ausserordentlich kompetent darin, in praktisch jede Richtung zu argumentieren. Genau das macht sie für den Rechtsbereich zu einem so mächtigen Werkzeug, um eigene Positionen zu schärfen.

Der Schlüssel liegt allerdings im richtigen Vorgehen. Es bringt meines Erachtens wenig, eine ganze Rechtsschrift in ein KI-Tool zu laden und pauschal um Kritik zu bitten. Viel wirksamer ist es, einzelne Argumente oder spezifische Tatbestandsmerkmale isoliert hinterfragen zu lassen. Man fordert das Modell gezielt auf, die Gegenposition einzunehmen oder als Advocatus Diaboli zu agieren.

Was dabei typischerweise herauskommt

Mach man dies, liefert das LLM vielleicht fünf Gegenargumente. An drei hat man bereits selbst gedacht. Eines ist vielleicht nicht ganz treffend oder geht an der Sache vorbei. Aber fast immer ist ein Punkt dabei, an den man schlicht nicht gedacht hat. Erfahrungsgemäss gilt dabei eine Faustregel: Je allgemeiner die Rechtsfrage, desto besser funktioniert das Hinterfragen durch ein LLM. Bei klassischen Fragen des Vertragsrechts liefern die Modelle beispielsweise regelmässig starke Gegenargumente. Je spezifischer und nischiger die Frage oder das Rechtsgebiet wird, desto mehr lässt die Qualität nach.

Umso wichtiger ist es daher, dem LLM den nötigen Kontext mitzugeben. Das können Gesetzestexte sein, relevante Vertragsklauseln, Literaturstellen oder Gerichtsentscheide. Wer einen Schritt weitergeht, schliesst externe Datenbanken direkt an. Plattformen wie beispielsweise opencaselaw.ch lassen sich heute bereits als Datenquelle mit einem LLM verbinden, sodass das Modell bei der Argumentation auf echte Entscheide zugreifen kann, statt sich auf sein Trainingsmaterial verlassen zu müssen (dazu das Tutotial: #Aufzeichnung Webinar # 31 Opencaselaw). Je besser der Kontext, desto schärfer die Gegenargumente, vgl. dazu auch:#Weniger Prompt-Tricks, mehr Kontext: Was Juristen bei der KI-Nutzung falsch machen

Vorsicht vor der Sycophancy

Karpathy warnt zu Recht vor der sogenannten Sycophancy. LLMs neigen dazu, dem Nutzer nach dem Mund zu reden und dessen Position zu bestätigen. Wer also fragt "Ist meine Argumentation überzeugend?", wird in der Regel ein zustimmendes "Ja" erhalten. Man muss das Modell ausdrücklich und unmissverständlich auffordern, die Argumentation zu hinterfragen, Schwachstellen zu finden oder die Gegenseite zu vertreten. Erst dann entfaltet sich das eigentliche Potenzial der KI.

Fazit

LLMs sind Argumentationsmaschinen, die in jede Richtung arbeiten können. Für Juristen ist genau das ihre grösste Stärke. Nicht als Ersatz für das eigene Denken, sondern als Werkzeug, um blinde Flecken in der eigenen Argumentation aufzudecken, bevor es die Gegenpartei tut.