KI-Modelle mit eigenen Daten testen: So bauen Sie Ihr internes Benchmark-Set
Die ehrlichste Antwort auf die Frage nach dem besten KI-Modell lautet: Es kommt auf Ihre Daten an. Statt Leaderboards zu studieren, bauen Sie in einem Nachmittag ein internes Benchmark-Set, das jede Modellentscheidung auf Ihre eigenen Fakten stellt. So geht es konkret.
Bauen Sie ein internes Benchmark-Set: 30 echte Fragen aus den Fachbereichen mit dokumentiert richtiger Antwort, bewertet nach Korrektheit, Quellenangabe, Antwortzeit und ehrlichem Verhalten bei Wissenslücken. Gleiche Bedingungen für jeden Kandidaten, quartalsweise Wiederholung mit demselben Set.
Schritt 1: 30 echte Fragen sammeln
Gehen Sie in die Fachbereiche und sammeln Sie Fragen, die dort tatsächlich gestellt werden: Was war die Ursache der Spindelstörung im März? Welche Toleranz gilt für Bauteil X in Revision C? Was haben wir dem Kunden Y zur Lieferzeit zugesagt? Gute Testfragen haben eine eindeutig richtige Antwort, die in Ihren Systemen dokumentiert ist. Mischen Sie einfache Faktenfragen mit Fällen, die Wissen aus mehreren Quellen verbinden.
Wichtig ist die Herkunft aus dem echten Alltag: Konstruiert wirkende Prüfungsfragen testen am Bedarf vorbei. Nehmen Sie die Fragen, die heute per Zuruf beim erfahrensten Kollegen landen – genau diese Anfragen soll das System später beantworten. Warum dieses Erfahrungswissen so wertvoll ist, zeigt unser Beitrag zur Schichtübergabe-Checkliste.
Schritt 2: Bewertungskriterien festlegen
Bewerten Sie jede Antwort nach vier Kriterien: Korrektheit gegen die dokumentierte richtige Antwort, Quellenangabe mit nachvollziehbarem Beleg, Antwortzeit und Verhalten bei Wissenslücken. Der letzte Punkt wird oft vergessen und ist der wichtigste: Ein System, das bei fehlender Information ehrlich passt, ist betriebstauglich. Eines, das überzeugend halluziniert, ist ein Risiko.
Legen Sie vorab fest, was Bestehen heißt, etwa: mindestens 27 von 30 korrekt, jede Antwort mit Quelle, keine einzige erfundene Angabe. Ohne vorher definierte Schwelle wird aus dem Test hinterher eine Geschmacksdiskussion. Wie Halluzinationen entstehen und was dagegen hilft, erklärt unser Beitrag zum Vermeiden von KI-Halluzinationen.
Schritt 3: Kandidaten unter gleichen Bedingungen messen
Testen Sie jeden Kandidaten mit demselben Set, derselben Datenanbindung und denselben Prompts. Unterschiede in der Anbindung verzerren das Ergebnis stärker als Unterschiede zwischen Modellen: Ein mittleres Modell mit sauberem Zugriff auf Ihre Dokumente schlägt das Spitzenmodell ohne. Deshalb testet ein gutes Benchmark-Set immer das Gesamtsystem aus Modell, Retrieval und Berechtigungen, nicht das Modell allein.
- Gleiches Fragenset, gleiche Reihenfolge, gleiche Datenbasis für alle Kandidaten
- Antworten protokollieren, nicht aus dem Gedächtnis bewerten
- Zweitbewertung durch eine zweite Person für strittige Fälle
- Kosten pro Antwort mitschreiben, nicht nur Qualität
- Ergebnis als Tabelle: bestanden/nicht bestanden je Kriterium
Schritt 4: Wiederholen statt wegwerfen
Der eigentliche Wert des Sets entsteht über die Zeit: Bewerten Sie quartalsweise oder bei relevanten Modell-Releases neu, immer mit demselben Set. So sehen Sie, ob sich ein Wechsel wirklich lohnt, in Ihren Zahlen statt in Marketing-Versprechen. Ergänzen Sie neue Fragen nur als markierte Erweiterung, damit die Vergleichbarkeit der Kernfragen erhalten bleibt. Welche Kennzahlen daraus für die Geschäftsführung entstehen, zeigt der Beitrag zu den KI-Kennzahlen für den CFO.
Häufige Fragen
Warum reichen 30 Fragen aus?
Weil sie repräsentativ aus dem Alltag der Fachbereiche stammen und jede eine dokumentiert richtige Antwort hat. Bei 30 Fragen sind Unterschiede zwischen Systemen bereits deutlich sichtbar, der Pflegeaufwand bleibt aber klein genug, um den Test quartalsweise zu wiederholen. Mehr Fragen erhöhen die Aussagekraft kaum, senken aber die Wiederholungsdisziplin.
Was ist das wichtigste Bewertungskriterium?
Das Verhalten bei Wissenslücken. Ein System, das bei fehlender Information ehrlich passt, ist betriebstauglich; eines, das überzeugend erfindet, ist ein Risiko. Korrektheit und Quellenangabe folgen direkt danach. Antwortzeit und Kosten runden das Bild ab, entscheiden aber selten allein.
Teste ich damit das Modell oder das Gesamtsystem?
Immer das Gesamtsystem aus Modell, Datenanbindung und Berechtigungen – und genau das ist gewollt. In der Praxis beeinflusst die Qualität des Zugriffs auf Ihre Dokumente das Ergebnis stärker als die Modellwahl. Ein Test des nackten Modells ohne Ihre Daten beantwortet eine Frage, die sich im Betrieb nie stellt.
Wie oft sollte ich den Test wiederholen?
Quartalsweise oder wenn ein relevantes neues Modell erscheint, immer mit demselben Kernset. So erkennen Sie echte Verbesserungen in Ihren eigenen Zahlen und wechseln nur, wenn sich der Umstieg messbar lohnt. Neue Fragen ergänzen Sie als markierte Erweiterung, damit die Kernfragen vergleichbar bleiben.
Wollen Sie Ihr Testset gegen echte Systeme laufen lassen?
Im Pilotprojekt beantworten wir Ihre 30 Fragen auf Ihren eigenen Daten – mit Quelle, messbar, in zwei Wochen.
Wissens-Check starten →
