AI-Powered Lawyering

Ein neues Paper (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5162111) untersucht den Einfluss von zwei KI-Technologien auf die juristische Arbeit mit künstlicher Intelligenz, nämlich

• Retrieval-Augmented Generation (RAG; in der Studie das Tool Vincent AI) und

• KI-Reasoning-Modelle (OpenAI o1-preview).

In der Studie wurden amerikanische Jus-Studenten gebeten, sechs juristische Aufgaben mit dem RAG-basierten KI-Tool, dem KI-Reasoning-Modell oder ohne KI zu lösen. Die Ergebnisse der Studie zeigen, dass beide KI-Tools die Qualität der juristischen Arbeit signifikant verbessern - ein deutlicher Unterschied zu früheren Studien mit älteren Sprachmodellen wie GPT-4.

Die Studie zeigt auch, dass KI-Unterstützung die Produktivität bei fünf der sechs getesteten juristischen Aufgaben signifikant erhöht. Vincent AI erzielte statistisch signifikante Verbesserungen von 38% bis 115%, während o1-preview die Produktivität um 34% bis 140% steigerte - insbesondere bei anspruchsvollen Aufgaben wie dem Verfassen überzeugender Schreiben und der Analyse von Rechtsschriften.

Bemerkenswert ist, dass o1-preview die analytische Tiefe der Arbeitsergebnisse der Teilnehmer erhöhte, aber gelegentlich Halluzinationen erzeugte, während Vincent AI-Nutzer etwa genauso viele Halluzinationen produzierten wie Teilnehmer ohne KI.

Die Autoren schlagen vor, dass eine Kombination aus RAG und KI-Reasoningmodellen die Zukunft des KI-gestützten Rechtswesens prägen könnte – indem sie Präzision und analytische Tiefe miteinander vereint.