GDPval einfach erklärt: Was der KI-Benchmark misst

Wir hören oft von neuen Benchmarks, aber GDPval ist anders. Es ist kein Sicherheits-Score und keine abstrakte Berechnung des Bruttoinlandsprodukts. GDPval beantwortet eine einzige, pragmatische Frage: Kann das Modell echte Arbeitsergebnisse liefern, für die Profis normalerweise bezahlt werden?

Hier ist der Deep Dive in die Methodik, die Ergebnisse und warum die Zahlen oft falsch interpretiert werden.

1. Was wird eigentlich gemessen?

OpenAI hat sich nicht auf Chat-Verläufe konzentriert, sondern auf "Authentic Work Deliverables". Das bedeutet: Dokumente, Präsentationen, Spreadsheets und Diagramme, oft basierend auf umfangreichen Referenzdateien, nicht nur auf einem kurzen Text-Prompt.

• Der Umfang: 44 Berufe aus 9 US-Industriesektoren (jeder Sektor trägt >5% zum US-GDP bei).
• Die Auswahl: GDPval umfasst überwiegend wissensbasierte Berufe aus wirtschaftlich bedeutenden Branchen. Erfahrene Fachleute mit durchschnittlich mehr als 14 Jahren Berufserfahrung entwickelten und prüften die Aufgaben.
• Der Datensatz: Insgesamt umfasst GDPval 1.320 Aufgaben. Ein geprüftes Gold-Subset mit 220 Aufgaben ist öffentlich auf Hugging Face verfügbar.

Quelle und Methodik: OpenAI – Measuring the performance of our models on real-world tasks und das GDPval-Paper.

2. Die Bewertung: Mensch gegen Maschine

Der "Goldstandard" von GDPval ist der blinde Vergleich. Ein menschlicher Experte vergleicht das Arbeitsergebnis des Modells mit dem eines menschlichen Experten und entscheidet, welches besser ist.

Hier liegt die wichtigste Nuance für das Verständnis der Ergebnisse:

• Win Rate: Wie oft ist das Modell besser als der Mensch?
• Wins or Ties: Wie oft ist das Modell besser oder gleich gut wie der Mensch?

Achtung: Vergleiche niemals Zahlen, die unterschiedliche Definitionen nutzen. In der OpenAI-Kommunikation zu GPT-5.2 steht der Wert „Wins or Ties“ im Mittelpunkt, während die ursprüngliche GDPval-Auswertung auch eine strikte „Win Rate“ ausweist. Diese Kennzahlen dürfen nicht direkt miteinander verglichen werden.

3. Wie die Modelle abschneiden (Die Zahlen)

Die Ergebnisse zeigen interessante Stärken und Schwächen der verschiedenen "Model Families".

Strikte "Win Rates" (Modell ist besser als Mensch): Ein Blick auf die Tabelle aus dem Paper zeigt, dass selbst Top-Modelle den Menschen selten schlagen, wenn es hart auf hart kommt:

• GPT-4o: 12,5%
• o4-mini: 29,1 %
• o3: 35,2%
• GPT-5: 39,0%

Die neueren Ergebnisse verwenden „Wins or Ties“: GPT-5.2 Thinking erreichte laut OpenAI 70,9 %, GPT-5.4 83,0 % und GPT-5.5 84,9 %. Diese Werte zeigen, wie oft das Modell mindestens auf dem Niveau eines menschlichen Experten bewertet wurde. Sie sind nicht direkt mit den strikten Win-Rates von GPT-4o bis GPT-5 vergleichbar. GPT-5.6 ist inzwischen das aktuellere Modell. Auf seiner offiziellen Launch-Seite nutzt OpenAI jedoch die abweichende Messung GDPval-AA v2. Deshalb lässt sich dafür kein direkt vergleichbarer Prozentwert in dieselbe Reihe einfügen.

Historischer Vergleich im ursprünglichen Gold-Subset: Claude Opus 4.1 erreichte 47,6 % „Wins or Ties“ und wurde besonders bei Ästhetik und Formatierung stark bewertet. GPT-5 schnitt vor allem bei Genauigkeit und dem Befolgen von Anweisungen gut ab.

4. Was das für die Praxis bedeutet

Ein hoher GDPval-Score bedeutet nicht, dass ein Job automatisiert wird. OpenAI stellt klar: Der Test ist "one-shot". Er bildet keine iterativen Prozesse, kein Nachfragen bei Stakeholdern und keine Navigation durch Ambiguität ab.

Meine praktische Einordnung: Reine Angaben zu Geschwindigkeit und Kosten greifen zu kurz. OpenAI weist selbst darauf hin, dass die veröffentlichten Vergleiche menschliche Prüfung, weitere Arbeitsrunden und die Integration in echte Abläufe nicht vollständig berücksichtigen. In der Praxis hängt der Nutzen deshalb nicht nur von der Modellgeschwindigkeit ab. Entscheidend ist auch, wie viel Zeit Fachleute für Prüfung, Korrekturen und die Einbindung des Ergebnisses in den tatsächlichen Arbeitsprozess benötigen. Eine höhere Ergebnisqualität kann diesen Aufwand reduzieren; sie garantiert aber keine vollständige Automatisierung.

Wie ich KI heute bei Investments, Unternehmen und Prozessen einsetze, beschreibe ich im Artikel So profitiere ich von KI: meine drei Strategien.

Fazit

GDPval prüft, wie gut KI-Modelle konkrete Arbeitsergebnisse erstellen. Dazu gehören beispielsweise Dokumente, Präsentationen, Tabellen und Diagramme. Der Benchmark belohnt Modelle, die Anweisungen genau befolgen, Referenzdateien verarbeiten und ihre Werkzeuge sinnvoll einsetzen. Gleichzeitig bleibt GDPval ein One-shot-Test. Er zeigt nicht vollständig, wie gut ein Modell in längeren Projekten mit Rückfragen, mehreren Überarbeitungen und unklaren Anforderungen arbeitet.

Du willst KI konkret für Research, Risikoprüfung und Portfolio-Struktur einsetzen? Dann starte mit meinem kostenlosen https://www.julianhosp.com/shop/ki-family-portfolio