Architekturen für sichere RAG-Systeme im Unternehmen

Kurz: Was RAG macht

Retrieval-Augmented Generation trennt Wissen und Sprachfähigkeit. Ihre Dokumente bleiben in einem durchsuchbaren Index; das Modell bekommt pro Frage nur die relevanten Passagen und formuliert daraus eine Antwort, idealerweise mit Quellenangabe. Das Modell muss nichts auswendig lernen, und Ihr Wissen wandert nicht ins Modelltraining.

Die vier Säulen einer sicheren Architektur

• <strong>Berechtigungen bis in die Antwort:</strong> Der Index respektiert die Rechte der Quellsysteme. Wer ein Dokument nicht öffnen darf, bekommt auch keine Antwort daraus. Least Privilege gilt für Menschen und für das System selbst
• <strong>Datenresidenz:</strong> Index, Verarbeitung und Modellaufrufe bleiben im definierten Rechtsraum, für den Mittelstand: EU-Hosting mit Auftragsverarbeitung nach Art. 28 DSGVO
• <strong>Quellenpflicht:</strong> Jede Antwort trägt ihre Belege. Ohne Quelle keine Aussage, das diszipliniert das System und macht Fehler sofort sichtbar
• <strong>Audit-Trail:</strong> Wer hat wann was gefragt, welche Dokumente wurden gelesen? Ohne Protokoll keine Compliance und keine Fehleranalyse

Typische Fehler aus der Praxis

Der häufigste Fehler: alle Dokumente in einen Index kippen und Berechtigungen 'später' nachrüsten. Später kommt nie, und bis dahin beantwortet das System Gehaltsfragen aus dem HR-Laufwerk. Der zweite Fehler: Chunking und Metadaten vernachlässigen, dann findet das System zwar Text, aber nicht den richtigen Kontext. Der dritte: kein ehrliches 'nicht gefunden', das System erfindet lieber eine Antwort.

In unseren Projekten steht die Rechte- und Quellenarchitektur deshalb vor jedem Modell-Feintuning. So wurde bei TROESTER aus einem gewachsenen Servicearchiv ein System, das Antworten mit Beleg in Sekunden liefert, Lösungszeit von 6 Stunden auf 76 Minuten.