KI-Benchmark zum deutschen Recht: Von 50 % auf 89,5 % in drei Jahren

Auf den Benchmark zum deutschen Recht von Markus Conrads et al habe ich schon mehrfach hingewiesen #Juristische Fragen zum Deutschen Recht: Trefferquoten der neusten Gemini-Modelle und GPT 5

und

#Deutscher Rechtsbenchmark: LLM Spitzengruppe mit Treffenquoten von 80%

Nun liegen die neuesten Ergebnisse vor. GPT-6 Astra beantwortet 89,5 % der Fragen richtig. Als das Team 2023 mit dem Benchmark begann, kam GPT-4 auf gerade einmal 50 %. Ein beachtlicher Fortschritt innerhalb von drei Jahren.

Ich denke es geht nicht mehr lange und wir sind auch im Deutschen Recht auf 100% wie gewisse Modell in der amerikanischen Anwaltsprüfung vgl. dazu: #210 von 210. KI besteht die amerikanische Multiple Choice Anwaltsprüfung fehlerfrei. Und wir diskutieren immer noch über das Ob.

Gesehen auf LinkedIn: https://lnkd.in/p/e8bgvbiJ