Nachvollziehbare KI in der Industrie: Zehn Prüfkriterien
Nachvollziehbare KI in der Industrie lässt sich mit zehn Prüfkriterien in vier Gruppen prüfen: Herkunft (Verweis je Aussage, Klick zum Original, Stand sichtbar), Verhalten (Lücke benannt, Widerspruch gezeigt, Unsicherheit markiert), Rechte (je Anfrage geprüft, Hinweis auf Verborgenes) und Protokoll (wiederholbar, Auswertung ohne Personenbezug). Jedes Kriterium hat eine Prüfhandlung von wenigen Minuten; die Prüfung dauert einen Tag.
Nachvollziehbare KI in der Industrie wird mit zehn Prüfkriterien in vier Gruppen geprüft: Herkunft (Verweis je Aussage, Klick zum Original, Stand sichtbar), Verhalten (Lücke benannt, Widerspruch gezeigt, Unsicherheit markiert), Rechte (je Anfrage geprüft, Hinweis auf Verborgenes) und Protokoll (wiederholbar, Auswertung ohne Personenbezug). Jedes Kriterium hat eine Prüfhandlung von wenigen Minuten und eine Regel, wann es bestanden ist; die Prüfung dauert mit dreißig Fragen und zwei Testkonten einen Tag. Vier Kriterien sind Ausschlusskriterien: Lücke, Rechte, Wiederholbarkeit, Auswertung ohne Person. Der Katalog gilt vor Auswahl, Abnahme und Audit; die monatliche Stichprobe hält die Quote danach.
Kurz beantwortetNachvollziehbar ist ein KI-System, wenn ein Prüfer ohne Hilfe des Anbieters zu jeder Antwort feststellen kann, woher sie stammt, was das System nicht wusste, wessen Rechte galten und ob sich die Antwort wiederholen lässt. Der Prüfkatalog übersetzt das in zehn Kriterien mit je einer Prüfhandlung und einer Regel, wann das Kriterium bestanden ist. Er dient bei der Anbieterauswahl, bei der Abnahme und im Audit, und er wird an einem Tag mit zwei Testkonten und dreißig vorbereiteten Fragen durchgeführt.
Was heißt nachvollziehbare KI in der Industrie?
Nachvollziehbar heißt, dass sich jede Antwort ohne den Anbieter auf vier Fragen zurückführen lässt: Woher stammt sie, was hat das System nicht gefunden, wessen Rechte galten, und lässt sie sich mit denselben Quellen und demselben Modellstand wiederholen? Die Definition ist enger als „erklärbar", weil sie keine Einsicht in das Sprachmodell verlangt; sie verlangt Einsicht in Quellen, Verhalten, Rechte und Protokoll. Ein Sprachmodell bleibt für den Prüfer eine Rechenmaschine, deren Ergebnis er an den Quellen prüft.
Diese Engführung ist bewusst. Ein Auditor, ein Kunde oder ein Betriebsrat kann keine Gewichte eines neuronalen Netzes prüfen, aber er kann prüfen, ob eine Antwort einen Verweis trägt, ob der Klick das Original öffnet, ob ein gesperrter Ordner gesperrt bleibt und ob eine Frage vom Mai im Protokoll steht. Der Prüfkatalog beschränkt sich auf das, was ein Mensch mit zwei Testkonten und einem Nachmittag feststellen kann.
Welche zehn Prüfkriterien gelten, und wie wird jedes geprüft?
Die zehn Kriterien verteilen sich auf vier Gruppen, und jedes hat eine Prüfhandlung, die wenige Minuten dauert. Die Tabelle nennt zu jedem Kriterium die Handlung und die Regel, wann es bestanden ist.
Nr. Kriterium Prüfhandlung Bestanden, wenn 1 Verweis je Aussage Zehn Fragen mit Zahl oder Anweisung in der Antwort stellen Jeder Satz mit Zahl oder Anweisung trägt einen Verweis 2 Klick zum Original Bei zehn Verweisen klicken Der Klick öffnet die Stelle im Quellsystem, keine Trefferliste, keine Kopie 3 Stand sichtbar Frage zu einem Dokument mit zwei Revisionen Die Antwort nennt beide Stände und markiert den gültigen 4 Lücke benannt Fünf Fragen ohne Antwort im Bestand Fünfmal „nichts gefunden", mit dem Nächstliegenden 5 Widerspruch gezeigt Frage, zu der zwei Quellen zwei Werte nennen Beide Werte mit Stand und Verfasser, keine stille Auswahl 6 Unsicherheit markiert Frage, deren Antwort in Handschrift oder schlechtem Scan steht Kennzeichnung am Satz und Hinweis auf das Original 7 Rechte je Anfrage Dieselbe Frage mit zwei Konten, eines ohne Zugriff auf Ordner X Konto ohne Zugriff erhält weder Zitat noch Zusammenfassung aus X 8 Hinweis auf Verborgenes Frage mit Konto ohne Zugriff, Antwort in X vorhanden Antwort nennt, dass weitere Quellen ohne Zugriff existieren 9 Wiederholbar Eine Antwort von vor vier Wochen aus dem Protokoll ziehen Nutzer, Zeit, Frage, Quellen, Antwort, Modellstand sind abrufbar 10 Auswertung ohne Person Auswertung des Protokolls anfordern Fragearten, Quellen, Lücken sind auswertbar; Listen je Nutzer nur mit Vier-Augen-Prinzip
Die Kriterien vier bis sechs entscheiden nach unserer Erfahrung am häufigsten. Ein System, das bei einer Frage ohne Beleg trotzdem antwortet, fällt in der Praxis durch, gleich wie gut die übrigen Antworten sind, weil kein Bearbeiter mehr weiß, welcher Antwort er trauen darf. Wie Erfindungen des Modells eingedämmt werden, steht in KI-Halluzinationen vermeiden; warum eine ehrliche Lücke der Pflegeplan des Betriebs ist, in Warum KI-Antworten in der Industrie Quellenangaben brauchen.
KI-Antworten mit Quellen: Was unterscheidet Kriterium eins von Kriterium zwei?
Kriterium eins prüft, ob ein Verweis da ist; Kriterium zwei prüft, ob er trägt. Viele Systeme bestehen das erste und scheitern am zweiten: Der Verweis führt auf eine Trefferliste, auf die erste Seite eines 400-Seiten-Handbuchs oder auf eine Kopie im Wissenssystem, deren Stand niemand kennt. Ein tragender Verweis öffnet die Stelle im Original, mit Seite, Absatz, Zelle oder Belegposition. Wie dieser Anker bei der Aufbereitung entsteht und welche sechs Felder ein vollständiger Verweis enthält, steht in KI-Antworten mit Quellen: So funktioniert es.
Wie läuft die Prüfung an einem Tag ab?
Mit dreißig vorbereiteten Fragen, zwei Testkonten und einer Person außerhalb des Projekts, die das Ergebnis je Kriterium einträgt. Die Vorbereitung dauert eine Woche, die Prüfung selbst einen Tag.
- Dreißig Fragen vorbereiten. Zwanzig mit bekannter Antwort und Fundstelle, davon fünf aus Scans oder Handschrift und drei mit widersprüchlichen Quellen; fünf ohne Antwort im Bestand; fünf, deren Antwort in einem gesperrten Ordner liegt.
- Zwei Testkonten anlegen. Eines mit vollen Rechten, eines ohne Zugriff auf den gesperrten Ordner. Die Rechte im Quellsystem prüfen, bevor die Prüfung beginnt.
- Herkunft prüfen (Kriterien 1 bis 3): Zwanzig Fragen mit dem vollen Konto, Verweise zählen, zehn Klicks, eine Revisionsfrage. Ergebnis je Kriterium: bestanden oder nicht.
- Verhalten prüfen (Kriterien 4 bis 6): Fünf Fragen ohne Beleg, drei Widerspruchsfragen, fünf Scanfragen. Jede Antwort, die bei fehlendem Beleg formuliert, wird notiert.
- Rechte prüfen (Kriterien 7 und 8): Fünf Ordnerfragen mit beiden Konten, Antworten nebeneinander legen. Wie die Rechteprüfung technisch aufgebaut sein muss, steht in Berechtigungen als Systemgrenze.
- Protokoll prüfen (Kriterien 9 und 10): Eine Antwort vom Vormittag aus dem Protokoll ziehen, Felder abhaken, eine Auswertung nach Fragearten anfordern. Den Modellstand notieren.
- Ergebnis festhalten. Zehn Zeilen, je bestanden oder nicht, mit Datum, Modellstand und den Fragen als Anlage. Die Tabelle ist die Grundlage für Abnahme, Lastenheft und die spätere monatliche Stichprobe.
Was zeigt eine Beispielbewertung mit zwei Systemen?
Annahmen gekennzeichnet; die Werte sind zur Veranschaulichung erfunden. System A besteht in der Annahme neun von zehn Kriterien; es zeigt bei zwei widersprüchlichen Quellen nur den neueren Wert und fällt bei Kriterium fünf durch. Das ist ein behebbarer Mangel, weil die Quellen im Index liegen und nur die Darstellung fehlt. System B besteht vier von zehn: Verweise führen auf Trefferlisten, bei fehlendem Beleg wird formuliert, die Rechte werden beim Import gesetzt, und der Modellstand fehlt im Protokoll. Diese Mängel liegen in der Architektur und lassen sich nicht nachrüsten. Die Bewertung ist absichtlich ohne Punktsummen: Ein Ausschlusskriterium wie vier oder sieben wiegt mehr als drei bestandene Bequemlichkeiten. Bei TROESTER erfüllte das eingesetzte System die Belegpflicht an jeder Antwort über zwölf Systeme; die Lösungszeit im Service sank von rund sechs Stunden auf 76 Minuten, und die Belegpflicht war der Grund, warum die Techniker das System annahmen.
KI-Transparenz im Maschinenbau: Welche Kriterien sind Ausschlusskriterien?
Vier: Lücke benannt (4), Rechte je Anfrage (7), Wiederholbar (9) und Auswertung ohne Person (10). Ein System, das bei fehlendem Beleg formuliert, ist im Betrieb gefährlich; eines, das Rechte beim Import setzt, ist im Betrieb nicht erlaubt; eines ohne Protokoll ist im Garantiefall wertlos; und eines mit Listen je Nutzer scheitert an der Mitbestimmung. Die übrigen sechs Kriterien sind Mängel, die sich im Pilot beheben lassen. Welche Anforderungen Kunde, Auditor, Betriebsrat und AI Act daraus für das Lastenheft ableiten, steht in KI-Transparenz im Maschinenbau: Anforderungen; wie ein Pilot mit Abbruchkriterium daran gemessen wird, in Abbruchkriterium für KI-Piloten.
Wie unterscheidet sich der Prüfkatalog von der monatlichen Stichprobe?
Der Prüfkatalog prüft das System einmal, vor Auswahl, Abnahme oder Audit, in zehn Kriterien mit zwei Konten. Die monatliche Stichprobe prüft danach die Antworten im laufenden Betrieb: dreißig Fragen, zwei Quoten, eine Schwelle. Der Katalog fragt „Kann das System nachvollziehbar sein?", die Stichprobe fragt „Ist es das diesen Monat noch?". Die Stichprobe mit ihren vier Prüfstufen beschreibt KI-Antworten im Betrieb überprüfbar machen; weitere Auswahlkriterien jenseits der Nachvollziehbarkeit, etwa Anbindung, Kanäle und Betrieb, nennt KI-Wissensassistent für die Industrie: Auswahlkriterien.
Was der Prüfkatalog nicht leistet
Er bewertet die Qualität der Quellen nicht: Ein System kann alle zehn Kriterien bestehen und aus veralteten Berichten belegte Antworten geben. Dafür ist die Dokumentenlenkung zuständig, und Kriterium drei macht das Problem immerhin sichtbar. Er ersetzt keine Datenschutz-Folgenabschätzung, die Zweck und Risiko je Quelle bewertet; wie sie in drei Tagen steht, zeigt DSFA für KI-Wissenssysteme. Und er misst keinen Nutzen: Ob die Lösungszeit sinkt, zeigt die Vorher-Nachher-Messung im Pilot, nicht der Katalog.
Begriffe kurz erklärt
- Prüfhandlung
- Die konkrete Handlung, mit der ein Kriterium geprüft wird: eine Frage stellen, einen Klick ausführen, ein Protokoll abrufen. Dauert wenige Minuten und braucht keinen Anbieter.
- Ausschlusskriterium
- Ein Kriterium, dessen Nichtbestehen das System für den Betrieb ausschließt, unabhängig vom übrigen Ergebnis: Lücke benannt, Rechte je Anfrage, Wiederholbar, Auswertung ohne Person.
- Testkonto
- Ein Nutzerkonto mit definierten Rechten, angelegt nur für die Prüfung. Zwei Konten mit unterschiedlichen Rechten machen die Rechteprüfung sichtbar.
- Wiederholbarkeit
- Die Möglichkeit, eine frühere Antwort aus dem Protokoll mit Nutzer, Zeit, Frage, Quellen, Antwort und Modellstand zu rekonstruieren.
Weiterführend
- KI-Transparenz im Maschinenbau: Anforderungen: die Anforderungen hinter den Kriterien.
- Warum KI-Antworten in der Industrie Quellenangaben brauchen: fünf Gründe und Betriebsregel.
- KI-Antworten mit Quellen: So funktioniert es: Anker und Verweis.
- KI-Antworten im Betrieb überprüfbar machen und Warum KI-Antworten mit Quellenbeleg entscheidend sind.
- Human in the Loop als Architektur und AskEdda oder ChatGPT: Was unterscheidet den Assistenten.
- Themen-Hub: KI-Quellenangaben in der Industrie, die Leistungsseite Konzeption und Design und der Wissensassistent AskEdda.
Häufige Fragen
Was bedeutet nachvollziehbare KI in der Industrie?
Dass sich jede Antwort ohne den Anbieter auf Quellen, Verhalten bei fehlendem Beleg, geltende Rechte und ein Protokoll zurückführen lässt. Einsicht in das Sprachmodell selbst ist dafür weder nötig noch möglich; geprüft wird an den Quellen.
Wie lange dauert die Prüfung mit dem Katalog?
Eine Woche Vorbereitung für dreißig Fragen und zwei Testkonten, dann ein Tag für die zehn Prüfhandlungen. Das Ergebnis sind zehn Zeilen mit bestanden oder nicht, Datum und Modellstand.
Welche Prüfkriterien sind Ausschlusskriterien?
Lücke benannt, Rechte je Anfrage, Wiederholbarkeit und Auswertung ohne Personenbezug. Fällt ein System bei einem davon durch, ist es für den Betrieb ungeeignet, gleich wie gut es bei den übrigen sechs abschneidet.
Kann ich den Prüfkatalog ohne den Anbieter durchführen?
Ja, das ist seine Absicht. Alle zehn Prüfhandlungen sind Fragen, Klicks und Protokollabrufe mit zwei Testkonten. Der Anbieter stellt das Testsystem mit angebundenen Quellen bereit; die Prüfung führt eine Person außerhalb des Projekts durch.
Brauche ich Einsicht in das Sprachmodell, um Nachvollziehbarkeit zu prüfen?
Nein. Der Katalog prüft, was ein Mensch feststellen kann: Verweis, Klick, Stand, Verhalten bei Lücke und Widerspruch, Rechte, Protokoll. Das Modell bleibt eine Rechenmaschine, deren Ergebnis an den Quellen geprüft wird.
Welches KI-System soll den Prüfkatalog durchlaufen?
Rozalia Karbowniczek klärt im Erstgespräch, wie ein Testsystem mit Ihren Quellen und zwei Testkonten bereitgestellt wird, damit Sie die zehn Kriterien an einem Tag prüfen können.
Gespräch vereinbaren →Vom Pilot in den Regelbetrieb: Hosting, Berechtigungen und Rollout je Abteilung stehen auf der Seite KI-Implementierung.
