210 von 210. KI besteht die amerikanische Multiple Choice Anwaltsprüfung fehlerfrei. Und wir disk...
Matthew Stubenberg berichtet aus seinem KI-Benchmark-Projekt, dass Fable 5 sämtliche 210 Multiple Choice Fragen des US-amerikanischen Multistate Bar Examination (MBE) korrekt beantwortet hat. Der menschliche Durchschnitt liegt übrigens bei 70.9% .
Noch eindrücklicher als das Resultat ist die Entwicklung. Als Stubenberg im November 2022 mit dem Tracking begann, erreichte ChatGPT 3.5 auf demselben Benchmark rund 50%. Dreieinhalb Jahre später sind es 100%. Zum Benchmark: Streamlit
Man kann nun einwenden, dass es nur Multiple-Choice-Fragen sind. Das stimmt. Man kann auch einwenden, dass eine Prüfung nicht das echte Leben abbildet. Auch das stimmt. In der Praxis geht es zuerst darum, den Sachverhalt überhaupt zu erfassen, mit Menschen zu sprechen, Interessen zu verstehen und unter Unsicherheit zu entscheiden. Kein Benchmark der Welt misst das. Und trotzdem finde ich diese Kurve extrem eindrücklich.
Und in der Praxis treffe ich noch immer Leute, die darüber diskutieren, ob man KI im Rechtsbereich einsetzen könne. Diese Diskussion führen wir aus meiner Sicht an der falschen Stelle. Die Technologie ist da, sie verschwindet nicht mehr, und sie wird rasend schnell besser.
Die relevanten Fragen lauten heute anders: Wie setzen wir diese Werkzeuge im Rechtsmarkt sinnvoll, sorgfältig und verantwortungsvoll ein? Und wie bilden wir die jungen Juristen aus, damit sie auf diese neue Ausgangslage vorbereitet sind und nicht auf eine Welt, die es so nicht mehr gibt? Es ist höchste Zeit aufzuwachen.
Quellen:
