KI in regulierter Softwareentwicklung: was in Medizin, Finanz und Bahn anders gilt
In regulierten Bereichen wird die Frage oft als Verbotsfrage gestellt: Dürfen wir das überhaupt einsetzen? Das ist selten der Punkt. Die Normen verlangen keinen bestimmten Entstehungsweg für Code, sondern einen Nachweis über den Prozess — und der ist mit Assistenz eher leichter zu führen als ohne.
Normen in regulierten Bereichen verlangen keinen bestimmten Entstehungsweg für Code, sondern durchgängige Nachvollziehbarkeit von Anforderung über Umsetzung bis Test, Risikobetrachtung je Funktion, dokumentierte Verifikation und Freigabe durch benannte Rollen. Zusätzlich zu leisten sind Herkunftskennzeichnung als Teil der Nachvollziehbarkeit, eine Eignungsbeurteilung der eingesetzten Werkzeuge und Versionierung des Modellkontexts als Teil des Verfahrens. Erleichtert wird die Verknüpfung von Anforderung, Umsetzung und Test — der häufigste Auditbefund. Auch hier entfällt das zeilenweise Lesen als Hauptkontrolle.
Was die Normen tatsächlich verlangen
Durchgängige Nachvollziehbarkeit von der Anforderung über die Umsetzung bis zum Test, eine Risikobetrachtung je Funktion, eine dokumentierte Verifikation und eine Freigabe durch benannte Rollen. Keine dieser Anforderungen sagt etwas darüber aus, ob eine Zeile von Hand oder mit Assistenz entstanden ist. Was sie sagen: Es muss belegbar sein.
Was zusätzlich zu leisten ist
Erstens die Herkunftskennzeichnung, hier nicht optional, sondern Teil der Nachvollziehbarkeit. Zweitens eine Werkzeugbewertung: Werkzeuge, die Ergebnisse erzeugen oder prüfen, brauchen in mehreren Normen eine Eignungsbeurteilung — ein Assistenzsystem fällt darunter, wenn es Teil des Prozesses ist. Drittens die Konfigurationskontrolle über den Kontext: Was dem Modell mitgegeben wird, ist Teil des Verfahrens und gehört versioniert.
Wo Assistenz die Nachweisführung erleichtert
Bei der Verknüpfung von Anforderung, Umsetzung und Test — das ist Fleißarbeit, die vollständig gemacht werden muss und selten vollständig gemacht wird. Ebenso bei der Erzeugung von Testfällen zu einer Anforderung und bei der Prüfung, ob jede Anforderung mindestens einen Test hat. Diese Lücken sind in regulierten Projekten der häufigste Auditbefund und lassen sich systematisch schließen.
Was auch hier entfällt
Das zeilenweise Lesen als Hauptkontrolle. Auch in regulierten Umfeldern ist der Nachweis über prüfbare Eigenschaften stärker als der Vermerk, dass jemand geschaut hat. Ein Auditor akzeptiert eine dokumentierte Verifikation mit Testergebnis; er akzeptiert selten „vier Augen haben es angesehen" als alleinigen Beleg für eine sicherheitsrelevante Funktion.
Der übliche Fehler
Assistenz zu verbieten und die Regel nicht durchzusetzen. Das Ergebnis ist Nutzung ohne Kennzeichnung — also genau der Zustand, den die Norm nicht zulässt. Eine geregelte, gekennzeichnete Nutzung ist auditfest; eine verbotene, stattfindende ist es nicht.
Häufige Fragen
Ist der Einsatz von KI-Assistenten in regulierten Bereichen erlaubt?
Die einschlägigen Normen verbieten ihn nicht. Sie verlangen Nachvollziehbarkeit, Verifikation und Freigabe. Wer Herkunft kennzeichnet, Werkzeuge bewertet und den Kontext versioniert, erfüllt die Anforderungen — die Entstehungsart einer Zeile ist dabei nicht das Kriterium.
Was ist eine Werkzeugbewertung?
Eine dokumentierte Beurteilung, welche Auswirkung ein Werkzeug auf das Produkt haben kann und welche Maßnahmen das Risiko begrenzen. Für ein Assistenzsystem heißt das üblicherweise: Es erzeugt Vorschläge, die anschließend verifiziert werden — und die Verifikation ist der Nachweis, nicht das Werkzeug.
Muss der Modellkontext versioniert werden?
Wenn er das Ergebnis beeinflusst, ja. Der Kontext ist dann Teil der Verfahrensbeschreibung und gehört unter Konfigurationskontrolle wie jedes andere Verfahrensdokument. Praktisch bedeutet das: im Repository, versioniert, mit Änderungshistorie.
Reicht ein Vier-Augen-Review als Nachweis?
Für sicherheitsrelevante Funktionen in der Regel nicht. Auditoren erwarten eine dokumentierte Verifikation gegen die Anforderung mit nachvollziehbarem Ergebnis. Ein Reviewvermerk belegt, dass jemand geschaut hat, nicht was geprüft wurde.
Bringen Sie einen Pull Request mit, der zu groß war.
30 Minuten, kein Vertrieb. Wir gehen ihn durch und sagen, was ein Modell daran geändert hätte.
AI Engineering Review ansehen →
