Testdaten in der KI-gestützten Entwicklung: das unterschätzte Nadelöhr
Wenn die Erzeugung schneller wird und die Prüfung automatisiert, wandert der Engpass auf die Daten. Ohne belastbare Testdaten laufen die schönsten Gates gegen einen Bestand, der die interessanten Fälle nicht enthält — und melden grün.
Bei hoher Änderungsfrequenz wird der Testdatenbestand zum Engpass: Gates gegen einen Bestand ohne die interessanten Fälle melden grün. Produktivdatenkopien sind eine eigene Verarbeitung mit eigenem Schutzbedarf und landen erfahrungsgemäß dauerhaft in schwächer geschützten Umgebungen. Brauchbare Anonymisierung verändert auch Verteilungen, gruppiert seltene Ausprägungen und verschiebt Daten konsistent. Tragfähig ist eine Mischung aus synthetischer Masse für Breite und anonymisierten Sonderfällen für die Ränder, ergänzt um eine kuratierte Sammlung, die aus jedem Betriebsvorfall wächst.
Warum Produktivdaten verlockend und falsch sind
Sie enthalten die realen Verteilungen und alle Sonderfälle, das macht sie so wertvoll. Sie enthalten aber auch Personendaten, und jede Kopie in eine Testumgebung ist eine Verarbeitung mit eigenem Zweck, eigener Rechtsgrundlage und eigenem Schutzbedarf. In der Praxis wandern solche Kopien in Umgebungen mit schwächeren Rechten und bleiben dort jahrelang liegen.
Anonymisieren ist mehr als Namen ersetzen
Ein Datensatz bleibt identifizierbar, wenn genug Merkmale zusammenkommen — Postleitzahl, Geburtsjahr, Vertragsdatum. Brauchbare Anonymisierung verändert deshalb auch Verteilungen, gruppiert seltene Ausprägungen und verschiebt Datumsangaben konsistent. Der Aufwand ist einmalig und lohnt sich, weil das Ergebnis dauerhaft nutzbar ist.
Synthetische Daten und ihre Grenze
Erzeugte Daten lösen das Schutzproblem und schaffen ein neues: Sie enthalten genau die Sonderfälle nicht, die niemand erfunden hätte. Der brauchbare Weg ist eine Mischung — synthetische Masse für Last und Breite, anonymisierte Sonderfälle für die Ränder. Die Sonderfälle sind der Teil, der Fehler findet, und der Teil, den man aus der Produktion holen muss.
Der Bestand, der gepflegt gehört
Eine kuratierte Sammlung von Fällen, die einmal Probleme gemacht haben: der Vorgang mit dem ungewöhnlichen Status, der Kunde mit Sonderkonditionen, der Datensatz aus der Zeit vor einer Feldumwidmung. Jeder Vorfall im Betrieb sollte einen Fall in diese Sammlung liefern. Sie wächst damit genau entlang der Stellen, an denen das System tatsächlich verwundbar ist.
Was das mit Assistenzsystemen zu tun hat
Zwei Dinge. Erstens erzeugen sie Testfälle in großer Zahl — was nur nützt, wenn Daten dahinterliegen. Zweitens laufen sie selbst mit Kontext, und wenn dieser Kontext aus Produktivdaten stammt, verlässt er das Haus. Die Regel ist deshalb dieselbe wie für Geheimnisse: Was in einen Kontext geht, gilt als offengelegt — und Personendaten haben dort nichts verloren.
Häufige Fragen
Darf man Produktivdaten in Testumgebungen kopieren?
Nur mit eigener Rechtsgrundlage, Zweckbindung und gleichwertigem Schutz — was in der Praxis selten gegeben ist. Der übliche Weg ist Anonymisierung oder Pseudonymisierung mit getrennter Schlüsselverwaltung, und zwar bevor die Daten die produktive Umgebung verlassen.
Reicht es, Namen und Adressen zu ersetzen?
Nein. Identifizierbarkeit entsteht aus der Kombination von Merkmalen. Brauchbare Verfahren gruppieren seltene Ausprägungen, verschieben Datumsangaben konsistent und prüfen anschließend, wie eindeutig einzelne Datensätze noch sind.
Sind synthetische Testdaten ausreichend?
Für Last und Breite ja, für die Ränder nicht. Genau die Fälle, an denen Software scheitert, sind die, die niemand erfunden hätte. Deshalb ist eine kuratierte Sammlung realer, anonymisierter Sonderfälle der wertvollste Teil des Bestands.
Dürfen Produktivdaten in den Kontext eines Assistenten?
Nein, es gilt dieselbe Regel wie für Zugangsdaten: Was in einen Kontext geht, ist als offengelegt zu behandeln. Für Tests und Beispiele gehören anonymisierte oder synthetische Auszüge in den Kontext.
Bringen Sie einen Pull Request mit, der zu groß war.
30 Minuten, kein Vertrieb. Wir gehen ihn durch und sagen, was ein Modell daran geändert hätte.
AI Engineering Review ansehen →
