RAG für die Industrie einfach erklärt

Das Problem mit reinen Sprachmodellen

Ein klassisches Sprachmodell hat sein Wissen während des Trainings aufgenommen und gibt es aus dem Gedächtnis wieder. Das funktioniert für allgemeine Fragen gut und scheitert bei Ihrem Betrieb. Das Modell kennt weder Ihre Wartungspläne noch Ihre Prüfvorschriften, und es kann eine gesicherte Information von einer plausibel klingenden Erfindung nicht unterscheiden. Diese Erfindungen, oft Halluzinationen genannt, sind im industriellen Umfeld inakzeptabel: Ein falsches Anzugsmoment in einer Montageanweisung oder ein erfundener Grenzwert in einer Prüfvorschrift kostet im besten Fall Nacharbeit, im schlechtesten Fall einen Garantiefall.

Dazu kommt der Stichtag. Jedes Modell hat einen Wissensstand, der beim Training eingefroren wurde. Die Vorschrift, die Ihre QM-Leitung letzte Woche geändert hat, kennt es nicht und wird es ohne neues Training nie kennen. Für den Mittelstand bedeutet das: Ein Sprachmodell allein ist kein verlässliches Werkzeug für Fachwissen. Es braucht einen Mechanismus, der die Antwort an Ihre echten und aktuellen Dokumente bindet. Dieser Mechanismus ist RAG. Wie Halluzinationen im Betrieb konkret entstehen und was dagegen hilft, beschreibt KI-Halluzinationen im Unternehmen vermeiden.

Wie funktioniert RAG, in einfachen Worten?

RAG kombiniert zwei Schritte. Im ersten Schritt, dem Retrieval, durchsucht das System Ihre Dokumentensammlung und holt die zur Frage passenden Stellen heraus. Im zweiten Schritt, der Generation, formuliert das Sprachmodell eine Antwort, ausschließlich auf Basis der gefundenen Stellen. Vereinfacht gesagt schlägt die KI erst in Ihren Unterlagen nach und antwortet dann auf Grundlage dessen, was sie dort gefunden hat. Von der Frage bis zur belegten Antwort laufen dabei fünf Stationen ab.

Der entscheidende Unterschied ist die Quelle. Weil die Antwort aus konkreten Textstellen entsteht, kann das System genau diese Stellen als Beleg mitliefern: Dokument, Seite, Stand. Sie sehen, was die KI sagt, und Sie sehen, woher sie es hat. Ein Instandhalter, der um drei Uhr nachts eine Antwort zum Hydraulikdruck einer Presse bekommt, prüft mit einem Klick, ob die Angabe aus dem aktuellen Wartungshandbuch oder aus einem Schichtbucheintrag von 2019 stammt. Warum dieser Beleg im Betrieb über Nutzung oder Ablehnung entscheidet, steht in Antwort mit Quelle: warum Belege zählen.

Die Suche im ersten Schritt ist keine Volltextsuche nach Stichwörtern. Der Index speichert Textstellen nach ihrer Bedeutung, sodass die Frage „Presse 3 verliert Druck“ auch die Passage findet, in der von „Hydraulikaggregat, Systemdruck fällt unter Sollwert“ die Rede ist. Diese Bedeutungssuche ist der Grund, warum RAG in gewachsenen Archiven mit uneinheitlichen Begriffen funktioniert, in denen eine klassische Suche nach dem dritten Synonym aufgibt.

Was passiert mit den Dokumenten, bevor die erste Frage gestellt wird?

Die eigentliche Arbeit bei RAG liegt vor der ersten Frage. Damit das System eine Textstelle finden kann, muss sie vorher aufbereitet worden sein. In unseren Projekten läuft diese Vorbereitung in sechs Ebenen ab, und jede davon entscheidet über die Qualität der späteren Antworten.

Ebene 2 und 3 werden am häufigsten unterschätzt. Ein gescanntes Prüfprotokoll von 2014 ist für das System ein Bild ohne Text, bis OCR daraus lesbaren Text macht. Und ein Wartungshandbuch mit 400 Seiten muss in Abschnitte zerlegt werden, die für sich allein verständlich sind: Eine Tabelle, die von ihrer Überschrift getrennt wurde, ist für die Suche wertlos. Wie diese Aufbereitung bei mehreren Terabyte Bestandsdaten abläuft, beschreibt Die Terabyte-Frage: die Ingestion-Pipeline. Warum Ebene 6 in der Industrie neben dem Vektorindex einen Wissensgraphen braucht, der Anlage, Bauteil und Störung miteinander verbindet, erklärt Wissensgraph: Vektor und Graph.

Ebene 5 ist die, die ein Bastelaufbau meist auslässt. Wenn die Berechtigungen der Quellsysteme beim Aufbau des Index verloren gehen, beantwortet das System später Fragen zu Gehaltslisten oder Kundenverträgen für jeden, der fragt. Das Rechtekonzept gehört deshalb in die Pipeline, bevor das erste Dokument indexiert wird. Wie das technisch sauber aussieht, steht in Berechtigungen als Systemgrenze.

Warum RAG gerade für den Mittelstand passt

Viele Mittelständler scheuen KI, weil sie ihre Daten nicht an ein fremdes Modell abgeben und kein millionenschweres Eigenmodell trainieren wollen. RAG löst dieses Dilemma. Ihr Wissen bleibt in Ihrer Dokumentensammlung, das Sprachmodell greift nur lesend darauf zu. Sie müssen kein Modell neu trainieren, wenn sich eine Vorschrift ändert: Sie aktualisieren das zugrunde liegende Dokument, und die nächste Antwort nutzt den neuen Stand.

• Ihr Fachwissen bleibt in Ihren Dokumenten, es muss nicht in ein Modell eintrainiert werden
• Aktualisierungen sind sofort wirksam, sobald Sie ein Dokument ändern oder ergänzen
• Jede Antwort lässt sich auf eine konkrete Quelle zurückführen und damit prüfen
• Das Verfahren skaliert von einer Handvoll Handbücher bis zu Archiven mit mehreren Terabyte
• Die Hürde für den Einstieg ist niedrig, ein eigenes Modelltraining ist nicht nötig

Damit wird KI vom riskanten Großprojekt zu einem überschaubaren, kontrollierbaren Werkzeug. Sie behalten die Hoheit über Ihre Inhalte und gewinnen trotzdem die Stärken moderner Sprachmodelle. Bei TROESTER, einem Maschinenbauer mit einem über Jahrzehnte gewachsenen Servicearchiv, wurden auf diesem Weg zwölf Systeme angebunden. Im Zwei-Wochen-Pilot sank die Lösungszeit pro Störung von rund sechs Stunden auf 76 Minuten, weil die Servicetechniker die passende Stelle im Archiv in Sekunden fanden statt in Stunden. Eine Übersicht unserer Ansätze finden Sie unter Lösungen.

Woran erkennen Sie, ob Ihre Dokumente RAG-tauglich sind?

Die Qualität der Antworten hängt direkt an der Qualität der Dokumente. Bevor Sie ein Projekt starten, lohnt sich deshalb ein ehrlicher Blick auf die eigene Dokumentenbasis. Fünf Fragen genügen für eine erste Einschätzung, und alle fünf lassen sich an einem Nachmittag mit QM-Leitung, Instandhaltungsleitung und IT beantworten.

• Wo liegt das Wissen? Auf welchen Systemen und Laufwerken liegen die Dokumente, die im Alltag am häufigsten gesucht werden? In unserer Praxis sind es drei bis fünf Quellen, die den größten Teil der Alltagsfragen abdecken, fast immer ein Dateiablagesystem, das ERP und das Ticket- oder Servicesystem.
• Wie alt ist es? Gibt es zu jedem Dokument einen Stand und einen Verantwortlichen? Ein Handbuch ohne Datum kann das System zwar finden, aber es kann keine Aussage darüber treffen, ob es noch gilt.
• Wie widersprüchlich ist es? Liegt dieselbe Arbeitsanweisung in drei Versionen an drei Orten? RAG findet alle drei und meldet den Widerspruch. Aufräumen muss ein Mensch.
• Wie lesbar ist es? Wie hoch ist der Anteil an Scans, Fotos und handschriftlichen Notizen? Diese Bestände brauchen OCR und kosten in der Aufbereitung am meisten Zeit.
• Wer darf was sehen? Sind die Berechtigungen auf den Quellsystemen gepflegt, oder hat jeder auf alles Zugriff? Was in der Quelle offen liegt, liegt auch in der Antwort offen.

Diese fünf Fragen haben wir in ein Blatt gegossen, das Sie mit Ihrem Team ausfüllen: Quellen aufnehmen, Zustand bewerten, zehn Testfragen sammeln, Messwert aus Woche null festhalten, Pilot festlegen. Die RAG-Tauglichkeitsprüfung als druckbares Arbeitsblatt (PDF) herunterladen. Die zehn Testfragen sind der wichtigste Teil: Sammeln Sie Fragen, die in der letzten Woche tatsächlich im Betrieb gestellt wurden, mit der Person, die sie beantwortet hat, und der Zeit, die es gedauert hat. Genau diese Fragen sind später der Maßstab für den Pilot.

Wie sieht ein RAG-Pilot in der Praxis aus?

Ein Pilot braucht kein Großprojekt. In unserer Praxis dauert er zwei bis vier Wochen und folgt einem festen Muster: eine Abteilung, drei bis fünf Quellen, die zehn Testfragen aus dem Arbeitsblatt als Messlatte. In der ersten Woche werden die Quellen angebunden und aufbereitet, danach stellen die Fachleute ihre Fragen und bewerten jede Antwort samt Beleg als richtig, unvollständig oder falsch. Am Ende steht eine Zahl: Wie viele der Alltagsfragen beantwortet das System mit korrektem Beleg, und wie lange dauert das im Vergleich zur bisherigen Suche?

Wichtig ist der Vergleichswert aus Woche null. Wer vorher nicht misst, wie lange die Suche heute dauert, kann nachher nur ein Gefühl berichten. Bei TROESTER waren es die rund sechs Stunden je Störung, die den Maßstab setzten. Wie Sie einen solchen Pilot mit eigenen Daten Schritt für Schritt aufsetzen, steht in Wissens-Pilot mit eigenen Daten aufsetzen. Wie gut Ihre Dokumentenbasis heute für RAG geeignet ist, zeigt Ihnen unser Wissens-Check in fünf Minuten.

Was RAG nicht löst

RAG ist kein Allheilmittel. Die Qualität der Antworten hängt direkt von der Qualität Ihrer Dokumente ab. Sind die Unterlagen widersprüchlich, veraltet oder lückenhaft, spiegelt die KI das wider. RAG kann nicht erfinden, was nicht da ist, und das ist eine Stärke: Es macht sichtbar, wo Ihr dokumentiertes Wissen Lücken hat. Das Wissen, das nur im Kopf des Meisters existiert, holt kein Index heraus. Dafür braucht es Interviews und eine Erfassung aus der Halle, wie sie Erfahrungswissen erfassen: die Interviewmethodik beschreibt.

Auch die Auswahl der richtigen Textstellen ist anspruchsvoll. Ein gut eingerichtetes System erkennt, welche Passagen relevant sind, und vermischt keine irrelevanten Treffer. Diese Qualität unterscheidet eine seriöse Lösung von einem schnellen Bastelaufbau. RAG ersetzt zudem weder das Rechtekonzept noch die Datenschutzprüfung: Sobald Personendaten in den Quellen liegen, etwa Namen in Schichtbüchern oder Servicetickets, greifen DSGVO Art. 28 für den Auftragsverarbeiter und je nach Umfang Art. 35 für eine Datenschutz-Folgenabschätzung. Was eine sichere Architektur darüber hinaus braucht, steht in Architekturen für sichere RAG-Systeme.