Architekturen für sichere RAG-Systeme im Unternehmen
RAG ist der Standardweg, um Sprachmodelle mit Unternehmenswissen zu verbinden. Die spannende Frage ist nicht mehr ob, sondern wie: Eine unsichere RAG-Architektur ist ein Datenleck mit freundlicher Chat-Oberfläche.
Eine sichere RAG-Architektur ruht auf vier Säulen: Berechtigungen, die bis in die Antwort gelten, Datenresidenz mit EU-Hosting und Auftragsverarbeitung nach Art. 28 DSGVO, Quellenpflicht für jede Aussage und ein Audit-Trail. Typische Fehler sind, alle Dokumente ohne Rechtekonzept in einen Index zu kippen, Chunking und Metadaten zu vernachlässigen und dem System kein ehrliches Eingeständnis fehlender Treffer zu erlauben.
Kurz: Was RAG macht
Retrieval-Augmented Generation trennt Wissen und Sprachfähigkeit. Ihre Dokumente bleiben in einem durchsuchbaren Index; das Modell bekommt pro Frage nur die relevanten Passagen und formuliert daraus eine Antwort, idealerweise mit Quellenangabe. Das Modell muss nichts auswendig lernen, und Ihr Wissen wandert nicht ins Modelltraining.
Die vier Säulen einer sicheren Architektur
- Berechtigungen bis in die Antwort: Der Index respektiert die Rechte der Quellsysteme. Wer ein Dokument nicht öffnen darf, bekommt auch keine Antwort daraus. Least Privilege gilt für Menschen und für das System selbst
- Datenresidenz: Index, Verarbeitung und Modellaufrufe bleiben im definierten Rechtsraum, für den Mittelstand: EU-Hosting mit Auftragsverarbeitung nach Art. 28 DSGVO
- Quellenpflicht: Jede Antwort trägt ihre Belege. Ohne Quelle keine Aussage, das diszipliniert das System und macht Fehler sofort sichtbar
- Audit-Trail: Wer hat wann was gefragt, welche Dokumente wurden gelesen? Ohne Protokoll keine Compliance und keine Fehleranalyse
Typische Fehler aus der Praxis
Der häufigste Fehler: alle Dokumente in einen Index kippen und Berechtigungen 'später' nachrüsten. Später kommt nie, und bis dahin beantwortet das System Gehaltsfragen aus dem HR-Laufwerk. Der zweite Fehler: Chunking und Metadaten vernachlässigen, dann findet das System zwar Text, aber nicht den richtigen Kontext. Der dritte: kein ehrliches 'nicht gefunden', das System erfindet lieber eine Antwort.
In unseren Projekten steht die Rechte- und Quellenarchitektur deshalb vor jedem Modell-Feintuning. So wurde bei TROESTER aus einem gewachsenen Servicearchiv ein System, das Antworten mit Beleg in Sekunden liefert, Lösungszeit von 6 Stunden auf 76 Minuten.
Häufige Fragen
Was ist Retrieval-Augmented Generation und warum wandert dabei kein Firmenwissen ins Modell?
RAG trennt Wissen und Sprachfaehigkeit: Ihre Dokumente bleiben in einem durchsuchbaren Index, und das Modell bekommt pro Frage nur die relevanten Passagen und formuliert daraus eine Antwort, idealerweise mit Quellenangabe. Das Modell muss nichts auswendig lernen, und Ihr Wissen wandert nicht ins Modelltraining.
Woran erkennt man eine sichere RAG-Architektur im Unternehmen?
An vier Saeulen: Berechtigungen bis in die Antwort, das heisst wer ein Dokument nicht oeffnen darf, bekommt auch keine Antwort daraus; Datenresidenz, also Index, Verarbeitung und Modellaufrufe im definierten Rechtsraum, fuer den Mittelstand EU-Hosting mit Auftragsverarbeitung nach Art. 28 DSGVO; Quellenpflicht, also keine Aussage ohne Beleg; und ein Audit-Trail. Ohne Protokoll darueber, wer wann was gefragt hat und welche Dokumente gelesen wurden, gibt es weder Compliance noch Fehleranalyse.
Welche Fehler treten bei RAG-Projekten am haeufigsten auf?
Der haeufigste Fehler ist, alle Dokumente in einen Index zu kippen und Berechtigungen spaeter nachruesten zu wollen; bis dahin beantwortet das System auch Gehaltsfragen aus dem HR-Laufwerk. Der zweite ist, Chunking und Metadaten zu vernachlaessigen, dann findet das System zwar Text, aber nicht den richtigen Kontext. Der dritte ist ein fehlendes ehrliches nicht gefunden, denn dann erfindet das System lieber eine Antwort.
Was sollte zuerst umgesetzt werden, das Modell oder die Rechtearchitektur?
Zuerst die Rechte- und Quellenarchitektur, dann das Modell. Auf dieser Grundlage wurde bei TROESTER aus einem gewachsenen Servicearchiv ein System, das Antworten mit Beleg in Sekunden liefert; die Loesungszeit sank von 6 Stunden auf 76 Minuten.
Ist Ihr Wissen RAG-bereit?
Der Wissens-Risiko-Check zeigt in 5 Minuten, wo Ihr Wissen liegt und wie es sicher abfragbar wird.
Wissens-Check starten →Sie wollen das Thema im eigenen Betrieb angehen? Die KI-Beratung für den Mittelstand führt von der Prozessanalyse zum messbaren Pilot.
