GPT-4.1

Am Montag hat OpenAI GPT-4.1 veröffentlicht, drei Modellen, die “GPT-4o und GPT‑4o mini durchs Band übetreffen”, bis zu 1 Million Tokens Kontext verarbeiten können und einen Knowledge Cutoff im Juni 2024 haben. Hier geht es zur offiziellen Mitteilung.

GPT-4.1 soll vorerst nur über die API verfügbar sein und nicht in ChatGPT ausgerollt werden: “Note that GPT‑4.1 will only be available via the API. In ChatGPT, many of the improvements in instruction following, coding, and intelligence have been gradually incorporated into the latest version of GPT‑4o, and we will continue to incorporate more with future releases.”

Ich habe die drei Varianten von GPT-4.1 mit einem privaten Eval Set von 34 Multiple-Choice-Fragen zum Leseverständnis bei deutschsprachigen Verwaltungsgerichtsentscheiden getestet.

GPT-4.1 übertrifft GPT-4o ganz marginal. GPT-4.1 mini entspricht ungefähr GPT-4 Turbo, und GPT-4.1 nano erreicht ungefähr die Leistung von GPT-3.5 (dem originalen ChatGPT). Die GPT-4.1-Modelle sind aber deutlich günstiger als die bisherigen Modelle, so kostet GPT-4.1 $8 pro Million Output-Tokens, verglichen mit $20 für GPT-4o. GPT-4.1 nano kostet bloss $0.40 pro Million Output-Tokens.

GPT-4.1 bietet damit also wiederum eine marginale Leistungssteigerung und bleibt unter der Performance von GPT-4.5 (welches in den nächsten Monaten abgeschaltet werden soll). Die bedeutendste Verbesserung sind wohl Effizienzgewinne, welche sich bei den Kosten bemerkbar machen.