Welches LLM für welchen Prozess? Das 6×6-Benchmark-Raster
Die meisten Betriebe wählen ihr Sprachmodell nach dem Gesamtranking eines Leaderboards. Für die Rechnungserfassung im Posteingang sagt dieses Ranking wenig, für die SQL-Abfrage im Controlling etwas anderes und für den Code-Agenten in der IT wieder etwas anderes. Unser Raster ordnet sechs Prozessfelder sechs Benchmark-Klassen zu und macht die Modellwahl zu einer Prozessfrage.
Für die Modellwahl im Betrieb zählt die Benchmark-Klasse, die zum Prozess passt: Dokumente & Vision für den Posteingang (DocVQA, OCRBench), Working Agent und Suche für Service und Vertrieb (BFCL, τ-bench), Data/SQL/Fakten fürs Controlling (BIRD, FinanceBench, SimpleQA), Agentic Coding für die IT (SWE-bench), Reasoning & STEM für F&E (GPQA, MMLU-Pro). Der Leaderboard-Gesamtsieger beantwortet diese Frage nicht; entschieden wird je Prozessfeld, bestätigt mit einem eigenen Testset aus 30 echten Fällen.
Warum der Gesamtsieger die falsche Antwort ist
Ein Leaderboard-Platz entsteht als Mittelwert über viele Aufgabenarten. Für eine Kaufentscheidung im Betrieb ist dieser Mittelwert doppelt irreführend: Er mischt Fähigkeiten, die Ihr Prozess gar nicht braucht, in die Note hinein, und er verdeckt Schwächen in genau der Fähigkeit, an der Ihr Prozess hängt. Die Rangfolge der Modelle unterscheidet sich zwischen den Aufgabenklassen regelmäßig: Ein Modell kann bei Dokumentenverständnis vorn liegen und bei Faktentreue im Mittelfeld, während ein günstigeres Modell das umgekehrte Profil zeigt. Wie Sie Benchmarks grundsätzlich einordnen, haben wir in KI-Benchmarks erklärt beschrieben; hier geht es um den nächsten Schritt, die Zuordnung zur Prozesslandschaft.
Welche sechs Benchmark-Klassen gibt es?
- Dokumente & Vision: PDFs, Scans, Layouts und Diagramme verstehen. Messlatten: DocVQA, OCRBench, ChartQA, MMMU.
- Working Agent: Werkzeuge korrekt aufrufen, Richtlinien einhalten, mehrschrittige Büroabläufe ausführen. Messlatten: BFCL (Function Calling), τ-bench.
- Agentic Search: aktiv recherchieren, Quellen finden und verdichten, auch über lange Bestände. Messlatten: Browsing- und Recherche-Benchmarks wie BrowseComp.
- Reasoning & STEM: Fachlogik, lange Kontexte, tiefes Schließen. Messlatten: MMLU-Pro, GPQA, LongBench v2, LiveBench.
- Data / SQL / Fakten: Kennzahlen extrahieren, SQL erzeugen, Fakten stabil halten. Messlatten: BIRD (Text-zu-SQL), FinanceBench, SimpleQA.
- Agentic Coding: Code in echten Umgebungen reparieren und bauen, Terminal- und Repo-Aufgaben. Messlatten: SWE-bench, Terminal-Bench, OSWorld.
Die Klassennamen sind unsere Ordnung, die Messlatten dahinter sind öffentliche, dokumentierte Benchmarks. Was die einzelnen Kürzel messen, steht kompakt im Benchmark-Glossar.
Das Raster: sechs Prozesse, sechs Klassen
Gelesen wird zeilenweise: Für jedes Prozessfeld zeigt die Zeile, welche Klassen kaufentscheidend sind (hoch), welche Sie prüfen sollten (mittel) und welche für diesen Prozess nachrangig bleiben (niedrig). Zwei Muster fallen auf. Erstens hat jedes Prozessfeld ein anderes Profil, kein Feld gleicht dem anderen. Zweitens taucht Faktentreue in vier von sechs Zeilen mit hoher oder mittlerer Gewichtung auf: Eine halluzinierte Zahl ist im Controlling ein Berichtsfehler, im Vertrieb ein falsches Angebot und in der Wissensarbeit eine Antwort, der nach dem dritten Fehlgriff im Team niemand mehr vertraut.
- Posteingang & Backoffice: Dokumente & Vision ist kaufentscheidend. Rechnungen, Formulare und Verträge kommen als Scan, das Modell muss Layouts lesen, bevor es denken kann.
- Service, Vertrieb & Innendienst: Working Agent, Agentic Search und Faktentreue zählen hoch. Der Assistent soll Status prüfen, Folgeaktionen anstoßen und dabei keine Konditionen erfinden.
- Wissensarbeit, HR, Recht, PMO: Suche, langes Schließen und Faktentreue tragen den Prozess. Richtlinien und Akten sind lang, verstreut und müssen belegbar zitiert werden.
- Controlling, BI & Analytics: Data/SQL/Fakten ist die einzige Hoch-Klasse. BIRD und FinanceBench trennen hier stärker als jedes Gesamtranking.
- IT, Software & Automatisierung: Agentic Coding und Working Agent entscheiden. SWE-bench in einer echten Repo-Umgebung sagt mehr als jede Chat-Demo.
- F&E, Engineering & Expertenarbeit: Reasoning & STEM führt. GPQA und MMLU-Pro messen die Fachtiefe, an der technische Analysen hängen.
Vom Raster zur Modellwahl in drei Schritten
Erstens: Prozessfeld festlegen und die Hoch-Klassen aus der Zeile übernehmen. Meistens sind es eine oder zwei, das hält den Vergleich klein. Zweitens: Kandidaten nur in diesen Klassen vergleichen, also die Einzel-Leaderboards der jeweiligen Benchmarks ansehen statt des Gesamtrankings. Drittens: Die zwei besten Kandidaten gegen ein eigenes Testset stellen, 30 echte Fälle aus dem Prozess, bewertet nach Korrektheit, Quellenangabe und Antwortzeit. Erst dieser Schritt macht aus einer Benchmark-Zahl eine Entscheidung für Ihren Betrieb.
Was das Raster nicht löst
Benchmarks messen öffentliche Aufgaben, keine Betriebsdaten. Ihre Rechnungen sehen anders aus als DocVQA-Beispiele, Ihre SQL-Schemata anders als die BIRD-Datenbanken, und bei bekannten Testaufgaben ist nie auszuschließen, dass ein Modell sie im Training gesehen hat. Das Raster sortiert deshalb Kandidaten und spart Vergleichsaufwand, es ersetzt weder das eigene Testset noch die Fragen, die kein Benchmark beantwortet: Anbindung an ERP und Dateiablage, Berechtigungen, EU-Hosting und die Frage, wer das System nach dem Piloten betreibt. Ein Modell, das die richtige Klasse gewinnt und an der Integration scheitert, hilft dem Prozess nicht.
Häufige Fragen
Welches KI-Modell ist das beste für Unternehmen?
Diese Frage hat je Prozess eine andere Antwort. Für Dokumentenverarbeitung entscheiden DocVQA und OCRBench, fürs Controlling BIRD und SimpleQA, für die IT SWE-bench. Vergleichen Sie Kandidaten in der Klasse, die Ihr Prozess braucht, und bestätigen Sie die Wahl mit einem eigenen Testset aus 30 echten Fällen.
Welche Benchmarks sind für Dokumentenverarbeitung relevant?
DocVQA und OCRBench messen das Verständnis gescannter Dokumente und Layouts, ChartQA das Lesen von Diagrammen, MMMU gemischte Bild-Text-Aufgaben. Für Posteingang und Backoffice sind diese Werte kaufentscheidend, das Gesamtranking eines Modells ist es nicht.
Reicht ein einziges Modell für alle Prozesse?
Selten als beste Lösung. Die Profile der Prozessfelder unterscheiden sich deutlich, und viele Plattformen, auch Assistenzsysteme wie edda, können je Aufgabe ein anderes Modell ansteuern. Sinnvoll ist ein Standardmodell für die Breite plus gezielte Modelle für die Hoch-Klassen der kritischen Prozesse.
Wie prüfe ich ein Modell auf meinen eigenen Daten?
Mit einem Testset aus 30 echten Fällen aus dem Zielprozess: reale Rechnungen, echte Tickets, eigene Kennzahlenfragen. Bewertet wird nach Korrektheit, Quellenangabe und Antwortzeit, mit denselben Fällen für jeden Kandidaten. Das Vorgehen steht ausführlich in unserem Artikel zur Benchmark-Bewertung.
Welche Klasse trägt Ihren Prozess?
In 30 Minuten ordnen wir Ihre Prozesslandschaft ins Raster ein und benennen die zwei Messlatten, die für Sie kaufentscheidend sind.
Erstgespräch buchen →Sie wollen das Thema im eigenen Betrieb angehen? Die KI-Beratung für den Mittelstand führt von der Prozessanalyse zum messbaren Pilot.
