KI-Modelle mit eigenen Daten testen: So bauen Sie Ihr internes Benchmark-Set
Die ehrlichste Antwort auf die Frage nach dem besten KI-Modell lautet: Es kommt auf Ihre Daten an. Statt Leaderboards zu studieren, bauen Sie in einem Nachmittag ein internes Benchmark-Set, das jede Modellentscheidung auf Ihre eigenen Fakten stellt. Dieser Leitfaden zeigt, warum öffentliche Ranglisten die falsche Frage beantworten, wie Sie 30 brauchbare Fragen sammeln, nach welchen vier Kriterien Sie bewerten, wie Sie Kandidaten fair vergleichen und wie Sie das Ergebnis als Geschäftsführung lesen. Den Benchmark-Bogen gibt es als druckbares Arbeitsblatt.
Bauen Sie ein internes Benchmark-Set: 30 echte Fragen aus den Fachbereichen mit dokumentiert richtiger Antwort und Beleg, darunter fünf Fragen ohne Antwort in Ihren Daten. Bewertet wird nach Lückenverhalten, Korrektheit, Quellenangabe sowie Zeit und Kosten, gegen eine vorab schriftlich festgelegte Schwelle. Gleiche Bedingungen für jeden Kandidaten, Gesamtsystem statt nacktes Modell, quartalsweise Wiederholung mit demselben Kernset. Besteht kein Kandidat, liegt es meist an den Daten, nicht am Modell.
Warum reicht das Leaderboard nicht als Entscheidungsgrundlage?
Öffentliche Ranglisten messen Modelle an Prüfungsfragen, Programmieraufgaben und Wissenstests, die mit Ihrem Betrieb nichts zu tun haben. Sie messen außerdem das nackte Modell, ohne Zugriff auf Ihre Dokumente, ohne Ihre Berechtigungen, ohne die Frage, ob das Modell bei fehlender Information ehrlich passt. Für die Vorauswahl von drei Kandidaten sind sie brauchbar; was die Werte im Einzelnen bedeuten, erklärt KI-Benchmarks erklärt. Für die Entscheidung, welches System ab nächstem Monat die Fragen Ihrer Instandhaltung beantwortet, sind sie ungeeignet, weil sie eine Frage beantworten, die sich im Betrieb nie stellt. Das interne Benchmark-Set dreht das um: Es stellt die Fragen, die bei Ihnen gestellt werden, an das Gesamtsystem, das sie später beantworten soll.
Schritt 1: 30 echte Fragen sammeln
Gehen Sie in die Fachbereiche und sammeln Sie Fragen, die dort tatsächlich gestellt werden: Was war die Ursache der Spindelstörung im März? Welche Toleranz gilt für Bauteil X in Revision C? Was haben wir dem Kunden Y zur Lieferzeit zugesagt? Gute Testfragen haben eine eindeutig richtige Antwort, die in Ihren Systemen dokumentiert ist. Mischen Sie einfache Faktenfragen mit Fällen, die Wissen aus mehreren Quellen verbinden. In unserer Praxis hat sich eine Aufteilung bewährt: etwa 15 Faktenfragen mit einer Quelle, zehn Fragen, deren Antwort aus zwei oder drei Dokumenten zusammengesetzt werden muss, und fünf Fragen, auf die es in Ihren Daten keine Antwort gibt. Die letzten fünf sind die wichtigsten, dazu gleich mehr.
Wichtig ist die Herkunft aus dem echten Alltag: Konstruiert wirkende Prüfungsfragen testen am Bedarf vorbei. Nehmen Sie die Fragen, die heute per Zuruf beim erfahrensten Kollegen landen, genau diese Anfragen soll das System später beantworten. Zu jeder Frage notieren Sie die dokumentierte Antwort und den Ort, an dem sie steht: Dokument, Version, Abschnitt. Ohne diesen Beleg lässt sich später nicht bewerten, ob eine Antwort richtig war. Warum dieses Erfahrungswissen so wertvoll ist und wie viel davon in einer einzigen Schichtübergabe steckt, zeigt unser Beitrag zur Schichtübergabe-Checkliste.
Schritt 2: Bewertungskriterien festlegen
Bewerten Sie jede Antwort nach vier Kriterien: Korrektheit gegen die dokumentierte richtige Antwort, Quellenangabe mit nachvollziehbarem Beleg, Antwortzeit und Verhalten bei Wissenslücken. Der letzte Punkt wird oft vergessen und ist der wichtigste: Ein System, das bei fehlender Information ehrlich passt, ist betriebstauglich. Eines, das überzeugend halluziniert, ist ein Risiko. Deshalb steht das Lückenverhalten in der Gewichtung ganz oben.
Legen Sie vorab fest, was Bestehen heißt, etwa: mindestens 27 von 30 korrekt, jede Antwort mit Quelle, keine einzige erfundene Angabe, bei allen fünf Lückenfragen ein ehrliches „dazu liegt nichts vor“. Ohne vorher definierte Schwelle wird aus dem Test hinterher eine Geschmacksdiskussion, in der das Modell gewinnt, das den lautesten Fürsprecher hat. Die Schwelle steht schriftlich auf dem Bogen, bevor der erste Kandidat läuft, und sie wird während des Tests nicht mehr verändert. Wie Halluzinationen entstehen und was dagegen hilft, erklärt unser Beitrag zum Vermeiden von KI-Halluzinationen. Warum die Quelle für den Betrieb mehr zählt als die Eleganz der Antwort, steht in Antwort mit Quelle: warum Belege zählen.
Schritt 3: Kandidaten unter gleichen Bedingungen messen
Testen Sie jeden Kandidaten mit demselben Set, derselben Datenanbindung und denselben Prompts. Unterschiede in der Anbindung verzerren das Ergebnis stärker als Unterschiede zwischen Modellen: Ein mittleres Modell mit sauberem Zugriff auf Ihre Dokumente schlägt in unserer Erfahrung regelmäßig das Spitzenmodell ohne diesen Zugriff. Deshalb testet ein gutes Benchmark-Set immer das Gesamtsystem aus Modell, Retrieval und Berechtigungen. Das gilt auch für den Vergleich zwischen einem lokal betriebenen Modell und einem Modell über eine Schnittstelle des Anbieters; ab welchem Volumen sich welche Betriebsform rechnet, steht in Lokales Modell oder API: der Break-even.
- Gleiches Fragenset, gleiche Reihenfolge, gleiche Datenbasis mit demselben Stand für alle Kandidaten
- Antworten protokollieren, nicht aus dem Gedächtnis bewerten: Frage, Antwort, genannte Quelle, Zeit, Kosten in einer Tabelle
- Zweitbewertung durch eine zweite Person für strittige Fälle, am besten aus dem Fachbereich, der die Frage gestellt hat
- Kosten pro Antwort mitschreiben, nicht nur Qualität; bei 30 Fragen fällt der Unterschied zwischen zwei Modellen oft erst auf das Jahr hochgerechnet ins Gewicht
- Ergebnis als Tabelle: bestanden oder nicht bestanden je Kriterium, je Kandidat, ohne Zwischentöne
Ein Nachmittag reicht für den ersten Durchlauf mit zwei bis drei Kandidaten, wenn die Fragen und Belege vorher gesammelt sind. Wer die Bewertung auf mehrere Personen verteilt, braucht ein gemeinsames Verständnis, was „korrekt“ heißt: Eine Antwort, die den richtigen Wert nennt und dazu eine falsche Toleranz erfindet, ist nicht korrekt. Wie sich ein solches Raster auf ganze Unternehmensprozesse erweitern lässt, statt nur auf Einzelfragen, beschreibt Das LLM-Benchmark-Raster für Unternehmensprozesse.
Schritt 4: Wiederholen statt wegwerfen
Der eigentliche Wert des Sets entsteht über die Zeit: Bewerten Sie quartalsweise oder bei relevanten Modell-Releases neu, immer mit demselben Set. So sehen Sie, ob sich ein Wechsel wirklich lohnt, in Ihren Zahlen statt in Marketing-Versprechen. Ergänzen Sie neue Fragen nur als markierte Erweiterung, damit die Vergleichbarkeit der Kernfragen erhalten bleibt. In der Praxis wächst das Set so in zwei Jahren von 30 auf 50 bis 60 Fragen, wobei die ersten 30 unverändert bleiben und den Vergleich über die Zeit tragen. Welche Kennzahlen daraus für die Geschäftsführung entstehen, zeigt der Beitrag zu den KI-Kennzahlen für den CFO.
Den Benchmark-Bogen mit Fragenliste, Schwelle, Testbedingungen und Bewertungstabelle können Sie als druckbares Arbeitsblatt (PDF) herunterladen. Er ist so aufgebaut, dass der Bogen aus dem ersten Quartal neben dem aus dem vierten liegen kann und der Unterschied auf einen Blick sichtbar wird.
Wie lesen Sie das Ergebnis als Entscheider?
Die Tabelle aus Schritt drei beantwortet drei Fragen der Geschäftsführung. Erstens: Besteht überhaupt ein Kandidat die Schwelle? Wenn nein, liegt das Problem meist nicht am Modell. Dann fehlen Dokumente, sind veraltet oder liegen in Formaten, die das System nicht lesen kann, und der nächste Schritt ist Datenarbeit statt Modellwahl. Zweitens: Wie groß ist der Abstand zwischen den Kandidaten? Liegen zwei Systeme bei 28 und 29 von 30, entscheidet der Preis je Antwort und der Betrieb, nicht die Qualität. Drittens: Was hat das System bei den fünf Lückenfragen getan? Ein Kandidat, der auch nur eine davon mit einer erfundenen Angabe beantwortet hat, ist für den Betrieb ausgeschieden, unabhängig davon, wie gut die anderen 25 Antworten waren. Diese Regel wirkt hart, sie erspart aber die Diskussion nach dem ersten Vorfall.
Für einen Pilot, der auf diesem Set aufbaut, gilt dieselbe Logik: Die Schwelle aus Schritt zwei ist zugleich das Abbruchkriterium. Erreicht das System sie nach zwei Wochen mit echten Nutzern nicht, wird der Pilot beendet oder die Datenbasis nachgebessert. Wie ein solches Kriterium formuliert wird, damit es vor der Geschäftsführung hält, steht in Abbruchkriterium für den KI-Pilot definieren. Bei TROESTER hat ein Pilot mit zwölf angebundenen Systemen die Lösungszeit pro Störung von rund sechs Stunden auf 76 Minuten gesenkt; die Fragen für diesen Test kamen direkt aus der Instandhaltung.
Was das Benchmark-Set nicht löst
Das Set misst, ob ein System Ihre Fragen beantworten kann. Es misst nicht, ob Ihre Beschäftigten es benutzen werden; dafür braucht es einen Pilot mit echten Nutzern über zwei bis vier Wochen. Es ersetzt keine Datenschutzprüfung: Welche Dokumente der Assistent lesen darf und in wessen Namen, entscheidet das Rechtekonzept und je nach Personenbezug eine Datenschutz-Folgenabschätzung nach DSGVO Art. 35, nicht der Test. Es ersetzt keine Schulung: Wer die Antworten im Alltag bewertet, muss nach EU AI Act Art. 4 einschätzen können, wann eine Antwort geprüft werden muss. Und es repariert keine Dokumentation. Wenn die 30 Fragen zeigen, dass die Hälfte der Belege veraltet ist, hat das Set seine Arbeit getan, die eigentliche Arbeit beginnt dann im Fachbereich.
Häufige Fragen
Warum reichen 30 Fragen aus?
Weil sie repräsentativ aus dem Alltag der Fachbereiche stammen und jede eine dokumentiert richtige Antwort hat. Bei 30 Fragen sind Unterschiede zwischen Systemen bereits deutlich sichtbar, der Pflegeaufwand bleibt aber klein genug, um den Test quartalsweise zu wiederholen. Mehr Fragen erhöhen die Aussagekraft kaum, senken aber die Wiederholungsdisziplin.
Was ist das wichtigste Bewertungskriterium?
Das Verhalten bei Wissenslücken. Ein System, das bei fehlender Information ehrlich passt, ist betriebstauglich; eines, das überzeugend erfindet, ist ein Risiko. Korrektheit und Quellenangabe folgen direkt danach. Antwortzeit und Kosten runden das Bild ab, entscheiden aber selten allein.
Teste ich damit das Modell oder das Gesamtsystem?
Immer das Gesamtsystem aus Modell, Datenanbindung und Berechtigungen, und genau das ist gewollt. In der Praxis beeinflusst die Qualität des Zugriffs auf Ihre Dokumente das Ergebnis stärker als die Modellwahl. Ein Test des nackten Modells ohne Ihre Daten beantwortet eine Frage, die sich im Betrieb nie stellt.
Wie oft sollte ich den Test wiederholen?
Quartalsweise oder wenn ein relevantes neues Modell erscheint, immer mit demselben Kernset. So erkennen Sie echte Verbesserungen in Ihren eigenen Zahlen und wechseln nur, wenn sich der Umstieg messbar lohnt. Neue Fragen ergänzen Sie als markierte Erweiterung, damit die Kernfragen vergleichbar bleiben.
Was tun, wenn kein Kandidat die Schwelle besteht?
Zuerst die Belege prüfen: Meist fehlen Dokumente, sind veraltet oder liegen in Formaten, die das System nicht lesen kann. Dann ist der nächste Schritt Datenarbeit im Fachbereich, nicht die Suche nach einem besseren Modell. Erst wenn die Belege sauber sind, lohnt ein zweiter Durchlauf mit denselben Kandidaten.
Wollen Sie Ihr Testset gegen echte Systeme laufen lassen?
Im Pilotprojekt beantworten wir Ihre 30 Fragen auf Ihren eigenen Daten, mit Quelle, messbar, in zwei Wochen.
Wissens-Check starten →Solche Ablaeufe automatisieren wir im Auftrag: KI-Prozessautomatisierung, vom priorisierten Prozess bis zum Pilot mit Vorher-Nachher-Zahl.
