KI-Benchmark-Glossar: MMLU, GPQA, SWE-bench & Co. verständlich erklärt
Jede Modellvorstellung kommt mit einer Tabelle voller Abkürzungen: MMLU, GPQA, SWE-bench, Elo. Wer entscheiden soll, ob ein Modell für den eigenen Betrieb taugt, braucht keine perfekte Definition jeder Metrik, aber ein solides Verständnis, was dort gemessen wird und was nicht. Dieses Glossar liefert genau das, ohne akademischen Ballast.
MMLU und GPQA messen Allgemein- und Fachwissen, SWE-bench mehrstufiges Arbeiten an echtem Code, Arena-Elo die menschliche Präferenz für Antwortstile. Keiner dieser Tests misst den Umgang mit Ihren Betriebsdaten. Nutzen Sie Benchmarks zur Vorauswahl und entscheiden Sie mit einem eigenen Testset aus echten Fragen.
Wissens- und Verständnistests: MMLU und GPQA
MMLU steht für Massive Multitask Language Understanding und prüft Faktenwissen und Schlussfolgern über Dutzende Fachgebiete, von Jura bis Medizin, im Multiple-Choice-Format. Lange war MMLU die Standardgröße für Modellvergleiche, inzwischen liegen Spitzenmodelle so dicht beieinander, dass die letzten Prozentpunkte kaum noch Aussagekraft haben. GPQA verschärft das Prinzip: Die Fragen sind so konstruiert, dass selbst promovierte Fachleute außerhalb ihres Gebiets scheitern, was den Test deutlich schwerer googlebar und damit aussagekräftiger macht.
Für den Betriebsalltag gilt bei beiden: Sie messen allgemeines Wissen, nicht den Umgang mit Ihren Zeichnungen, Ihren Artikelnummern oder Ihrem Servicearchiv. Ein Modell kann GPQA glänzend bestehen und trotzdem an einer simplen Frage zu Ihrer Wartungshistorie scheitern, wenn die Datenanbindung fehlt. Warum das so ist, erklärt unser Beitrag über die richtige Bewertung von KI-Modellen.
Code- und Agentenaufgaben: SWE-bench und Nachfolger
SWE-bench testet, ob ein Modell echte Fehler aus öffentlichen Software-Projekten selbstständig beheben kann, inklusive Verstehen der Codebasis, Ändern mehrerer Dateien und Bestehen der Tests. Das ist näher an realer Arbeit als Multiple Choice und deshalb der derzeit meistbeachtete Maßstab für Coding- und Agentenfähigkeiten. Für Industrieunternehmen ist er ein brauchbarer Indikator dafür, wie gut ein Modell mehrstufige Aufgaben plant und durchhält.
Auch hier gilt die Übersetzungsfrage: Ein Modell, das fremde Software-Fehler behebt, kann noch lange nicht Ihre Angebotskalkulation. Die Fähigkeit zu mehrstufigem Arbeiten ist übertragbar, das Domänenwissen nicht. Wie Sie mehrstufige KI-Systeme im Betrieb einordnen, zeigt unser Überblick zu Agentic AI im Mittelstand.
Präferenztests: Arena-Elo und die Grenzen der Schwarmmeinung
Chat-Arenen lassen Menschen zwei anonyme Modellantworten vergleichen und errechnen daraus eine Elo-Zahl wie im Schach. Das misst, welche Antworten Menschen lieber lesen, was Stil und Hilfsbereitschaft belohnt, aber nicht zwingend Korrektheit. Ein Modell kann Elo-Punkte sammeln, weil es gefälliger formuliert, nicht weil es öfter recht hat.
Für den Einsatz im Betrieb ist diese Metrik mit Vorsicht zu genießen: In der Instandhaltung oder Kalkulation zählt die belegbare, korrekte Antwort mit Quelle, nicht die eloquenteste. Deshalb gehört neben jeden Benchmark-Vergleich ein eigener Praxistest, wie ihn unsere Anleitung zum Testen mit eigenen Daten beschreibt.
Wie Sie das Glossar praktisch nutzen
- MMLU/GPQA hoch: solides Allgemein- und Fachwissen, sagt nichts über Ihre Daten aus
- SWE-bench hoch: gute mehrstufige Arbeitsfähigkeit, relevant für Agenten-Anwendungen
- Arena-Elo hoch: angenehmer Antwortstil, kein Beleg für Korrektheit
- Kleine Abstände zwischen Spitzenmodellen: praktisch bedeutungslos, nicht überbewerten
- Finale Entscheidung: immer eigenes Testset mit echten Betriebsfragen
Benchmarks sind nützlich, um das Kandidatenfeld von zwanzig auf drei Modelle einzugrenzen. Danach beginnt die eigentliche Arbeit: dieselben dreißig echten Fragen aus Ihrem Betrieb gegen jeden Kandidaten, bewertet nach Korrektheit, Quellenangabe und Antwortzeit. Diese Zahl trägt eine Investitionsentscheidung, ein Leaderboard-Screenshot nicht.
Häufige Fragen
Was ist der Unterschied zwischen MMLU und GPQA?
Beide prüfen Wissen und Schlussfolgern im Frageformat, GPQA ist jedoch deutlich schwerer konstruiert: Selbst Fachleute außerhalb ihres Gebiets scheitern an den Fragen. MMLU ist bei Spitzenmodellen weitgehend gesättigt, die Unterschiede liegen im Rauschen. GPQA differenziert aktuell besser, misst aber ebenfalls nur Allgemeinwissen statt Betriebstauglichkeit.
Warum gilt SWE-bench als besonders aussagekräftig?
Weil es echte Arbeit misst statt Multiple Choice: Das Modell muss Fehler in realen Software-Projekten verstehen, mehrere Dateien ändern und die Tests bestehen. Das prüft Planen, Durchhalten und Selbstkorrektur über viele Schritte. Diese Fähigkeiten sind auch für Agenten-Anwendungen im Betrieb relevant, ersetzen aber kein Domänenwissen.
Ist ein hoher Arena-Elo-Wert ein Qualitätsbeweis?
Nur bedingt. Elo-Werte entstehen aus menschlichen Präferenzurteilen und belohnen angenehmen Stil und Hilfsbereitschaft, nicht nachgewiesene Korrektheit. Für Betriebsanwendungen, in denen die belegbare Antwort mit Quelle zählt, ist Elo allein kein Auswahlkriterium. Kombinieren Sie ihn immer mit einem eigenen Korrektheitstest.
Welcher Benchmark ist für den Mittelstand am wichtigsten?
Keiner ersetzt den eigenen Praxistest. Benchmarks eignen sich, um das Feld auf wenige Kandidaten einzugrenzen: Wissens-Scores für Assistenz-Anwendungen, SWE-bench für mehrstufige Automatisierung. Die Entscheidung sollte immer ein Testset mit echten Fragen aus Ihren Fachbereichen treffen, bewertet nach Korrektheit, Quelle und Antwortzeit.
Welches Modell passt zu Ihren Daten?
Wir bauen mit Ihnen ein Testset aus echten Fragen Ihrer Fachbereiche und messen, welches Setup in Ihrem Betrieb wirklich liefert.
Gespräch buchen →
