Wie stelle ich sicher, dass KI-Antworten im Betrieb überprüfbar sind?

Kurz beantwortetÜberprüfbar ist eine KI-Antwort, wenn ein Mensch in einem Klick beim Original steht: Die Antwort nennt Fundstellen mit Dokument, Abschnitt und Stand, sie entsteht nur aus angebundenen Quellen, und was das System nicht belegen kann, behauptet es nicht. Technisch heißt das: Antwort aus Fundstellen statt aus dem Gedächtnis des Modells, Rechte je Anfrage, Protokoll je Antwort. Organisatorisch: dreißig Prüffragen, monatlich gestellt, mit Quote belegter und richtiger Antworten.

Warum brauchen KI-Antworten in der Industrie Quellen?

Weil im Betrieb nach der Antwort gehandelt wird: Ein Techniker tauscht ein Teil, ein Planer verschiebt einen Auftrag, ein Vertriebler sagt eine Toleranz zu. Eine Antwort ohne Quelle zwingt ihn, entweder blind zu vertrauen oder alles selbst nachzuprüfen, und beides macht das System wertlos. Eine Antwort mit Quelle verkürzt die Prüfung auf einen Klick. Bei TROESTER hat genau diese Belegpflicht dafür gesorgt, dass Servicetechniker das System nutzten; gemessen wurde die Lösungszeit pro Störung, von sechs Stunden auf 76 Minuten (Fallstudie).

Der zweite Grund ist Haftung. Wenn nach einer KI-Antwort etwas schiefgeht, fragt der Kunde, der Auditor oder der Anwalt, woher die Aussage kam. Mit Fundstelle ist die Antwort ein Verweis auf ein Dokument des Betriebs, und die Verantwortung liegt dort, wo sie vorher auch lag. Ohne Fundstelle ist sie eine Behauptung einer Maschine. Warum das über Vertrauen und Nutzen entscheidet, ist in Warum KI-Antworten mit Quellenbeleg entscheidend sind ausgeführt; wer bei Fehlern haftet, in KI-Antworten prüfen: Wer haftet?.

Nachvollziehbare KI in der Industrie: was heißt das technisch?

Es heißt, dass die Antwort aus Fundstellen entsteht, nicht aus dem Gedächtnis des Modells. Bei jeder Frage sucht das System in den angebundenen Quellen die passenden Abschnitte, gibt nur diese Abschnitte an das Sprachmodell und lässt es daraus die Antwort formulieren, mit Verweis je Aussage. Findet die Suche nichts, lautet die Antwort, dass nichts gefunden wurde, mit dem, was am nächsten kam. Das Modell darf ergänzen, was in den Abschnitten steht, und es darf nichts hinzufügen, was dort nicht steht.

Diese Architektur ist der Unterschied zwischen einem Wissenssystem und einem allgemeinen Chat-Assistenten. Wie sie im Einzelnen aufgebaut ist, von der Zerlegung der Dokumente bis zur Verweisliste in der Antwort, steht in edda: Antwort mit Quelle, technisch erklärt; wie Erfindungen des Modells vermieden werden, in KI-Halluzinationen vermeiden.

KI-Transparenz im Maschinenbau: was muss eine Antwort zeigen?

Vier Dinge: die Fundstelle mit Dokument und Abschnitt, den Stand des Dokuments mit Datum und Version, den Hinweis, ob der Fragende alle relevanten Quellen sehen durfte, und eine Kennzeichnung, wo die Antwort unsicher ist, etwa bei Handschrift oder widersprüchlichen Quellen. Eine Antwort, die diese vier Dinge zeigt, kann ein Meister in dreißig Sekunden prüfen. Eine Antwort ohne Stand verleitet dazu, nach einem Wartungsbericht von 2016 zu handeln, der längst überholt ist.

KI-Antworten mit Quellen: wie prüft man sie im Alltag?

In vier Stufen, von der Einzelantwort bis zur monatlichen Quote. Stufe eins ist der Klick: Der Nutzer öffnet die Fundstelle, wenn er nach der Antwort handelt. Stufe zwei ist der Stand: Er prüft Datum und Version, wenn es um Anlagen oder Verträge geht, die sich ändern. Stufe drei ist die Bestätigung im Team: Ein Kollege markiert eine geprüfte Antwort als bestätigt, und das System merkt es sich für die nächste Frage. Stufe vier ist die Stichprobe: Dreißig Fragen mit bekannter Antwort, jeden Monat gestellt, mit Quote belegter und richtiger Antworten.

Die Bestätigung im Team ist die Stufe, die aus einem Suchsystem ein Gedächtnis macht: Was ein erfahrener Kollege einmal geprüft hat, muss der nächste nicht mehr prüfen. Wie das im Teamchat mit einem Klick funktioniert, zeigt Fakten im Teamchat bestätigen.

Wie richte ich die monatliche Stichprobe ein?

Mit dreißig Fragen, für die der Betrieb die richtige Antwort kennt, und zwei Quoten, die vor dem Start eine Schwelle bekommen. Das Vorgehen:

1. Dreißig Fragen sammeln aus Service, Instandhaltung und Vertrieb, mit Sollantwort und Solldokument. Zehn davon müssen die schwierigen sein: Scans, Handschrift, Sonderfälle.
2. Zwei Quoten definieren: Anteil der Antworten mit Fundstelle und Anteil der Antworten, deren Fundstelle die richtige ist. Schwelle je Quote schriftlich, etwa vor dem Pilot im Abbruchkriterium.
3. Fünf Fragen ohne Antwort in den Quellen aufnehmen. Die richtige Reaktion ist „nichts gefunden“. Ein System, das hier antwortet, erfindet.
4. Monatlich stellen, durch eine Person außerhalb des Projekts, Ergebnis in einer Tabelle mit Datum. Zehn Minuten Aufwand.
5. Abweichungen zurückverfolgen: Falsche Fundstelle heißt meist veraltetes Dokument oder fehlende Quelle; keine Fundstelle heißt meist Lücke in der Anbindung.
6. Fragen austauschen, wenn neue Quellen dazukommen; die Tabelle bleibt, damit die Quote über Monate vergleichbar ist.

Welche Rolle spielt das Protokoll je Antwort?

Das Protokoll macht Überprüfbarkeit nachträglich möglich: Zu jeder Antwort wird festgehalten, wer wann was gefragt hat, welche Quellen gefunden und welche gezeigt wurden. Drei Fälle brauchen es. Der Auditor will wissen, ob ein Nutzer Dokumente gesehen hat, die er nicht sehen durfte; das Protokoll zeigt je Anfrage die geprüften Rechte. Die Fehleranalyse will wissen, warum eine falsche Fundstelle gezeigt wurde; das Protokoll zeigt, welche Abschnitte zur Wahl standen. Und der Betrieb will wissen, welche Fragen ohne Antwort blieben; das Protokoll liefert die Liste der Lücken, aus der die nächste Quellenanbindung folgt.

Was das Protokoll ausdrücklich nicht darf, regelt die Betriebsvereinbarung: die Auswertung je Person. Eine Liste der Fragen von Herrn K. ist eine Leistungskontrolle, und sie ist mitbestimmungspflichtig. Bewährt hat sich die Regel, dass Auswertungen nur über Fragearten, Quellen und Lücken laufen und die Nutzerzuordnung allein für die Rechteprüfung und für Auditfälle mit Vier-Augen-Prinzip zugänglich ist. Wie Berechtigungen dabei technisch zur Systemgrenze werden, steht in Berechtigungen als Systemgrenze.

Ein Beispiel aus dem Service, vereinfacht

Ein Techniker fragt nach der Ursache einer wiederkehrenden Störung an einer Anlage. Die Antwort nennt drei Fundstellen: einen Servicebericht von 2023 mit der damaligen Lösung, einen Handbuchabschnitt zur Fehlermeldung und ein Ticket von 2016 mit einer anderen Ursache. Die Antwort zeigt zu jeder Fundstelle den Stand. Der Techniker sieht, dass das Ticket von 2016 vor dem Umbau der Anlage liegt, und handelt nach dem Bericht von 2023. Ohne Stand hätte er möglicherweise das Falsche getauscht; ohne Fundstelle hätte er den Kollegen angerufen. Mit beidem prüft er in dreißig Sekunden und beginnt die Reparatur.

Was Überprüfbarkeit nicht leistet

Sie macht ein falsches Dokument nicht richtig. Ein Servicebericht mit einer falschen Ursache wird mit Fundstelle schneller gefunden, und die Fundstelle zeigt immerhin, wer ihn geschrieben hat. Sie ersetzt nicht die Entscheidung: Der Techniker entscheidet, ob er nach dem Bericht handelt. Und sie ersetzt keine Pflege der Quellen: Ein Betrieb, der Berichte nie aktualisiert, bekommt belegte Antworten aus veralteten Berichten. Genau deshalb gehört der Stand in die Antwort.

Begriffe kurz erklärt

Fundstelle

Dokument und Abschnitt, aus dem eine Aussage stammt, mit Stand und Verfasser, per Klick erreichbar.

Antwort aus Fundstellen

Verfahren, bei dem das Sprachmodell nur aus gefundenen Abschnitten formuliert und jede Aussage mit Verweis versieht; im Fachjargon Retrieval-Augmented Generation.

Halluzination

Eine vom Modell erfundene Aussage ohne Grundlage in den Quellen. Wird durch Antwort aus Fundstellen und die Regel „nichts gefunden“ eingedämmt.

Bestätigter Fakt

Eine Antwort, die ein Kollege geprüft und markiert hat; das System zeigt sie künftig als bestätigt an, mit Name und Datum.

Stichprobe

Feste Liste von Prüffragen mit Sollantwort, regelmäßig gestellt, mit Quote belegter und richtiger Antworten und einer Schwelle.

Weiterführend im selben Cluster: Welche Anforderungen an Transparenz im Maschinenbau gelten, von der Abnahme bis zum Audit, steht in KI-Transparenz im Maschinenbau: Anforderungen; die Begründung aus Sicht von Haftung und Vertrauen in Warum KI-Antworten in der Industrie Quellenangaben brauchen; die Funktionsweise im Detail in KI-Antworten mit Quellen: so funktioniert es; und die Prüfkriterien für nachvollziehbare Systeme in Nachvollziehbare KI in der Industrie: Prüfkriterien. Der Themen-Hub KI-Quellenangaben in der Industrie bündelt alle Artikel des Clusters. Wie skillbyte die Architektur mit Quellenangabe und Rechten je Anfrage entwirft, steht unter KI-Integration: Konzeption und Design; wie der Wissensassistent edda sie umsetzt, auf der Produktseite.