Risikoklassen am Pull Request
Die Klasse ergibt sich aus den berührten Pfaden. Falsche Klassen sind sichtbar und werden korrigiert. Der Großteil der Änderungen wartet dann nicht mehr auf eine Person.
Jede Änderung bekommt eine Risikoklasse.
Geprüft werden Regeln, belegt wird ihre Herkunft.
Die meisten Änderungen können keinen echten Schaden anrichten. Wenige können es. Sortieren kostet wenig. Alles gleich zu behandeln kostet Prüfzeit, die Ihnen fehlt. So sieht der Moment aus, in dem eine Änderung ankommt.
Die Klasse ergibt sich aus den berührten Pfaden. Die Selbstauskunft im Pull Request zählt dafür nicht. Unklassifiziert wird nicht gemergt.
Die Klasse ergibt sich aus den berührten Pfaden. Falsche Klassen sind sichtbar und werden korrigiert. Der Großteil der Änderungen wartet dann nicht mehr auf eine Person.
Eigenschaftstests legen fest, was immer gelten muss. Generierter Code wird gegen die Regel geprüft. Drei ausgedachte Beispielfälle reichen dafür nicht.
Geschrieben, assistiert oder generiert steht im Protokoll. So können Sie auch in sechs Monaten jeder Prüfung Auskunft geben.
Manches fängt kein Gate. Deshalb wird schrittweise ausgeliefert: Verletzt eine Änderung eine Eigenschaft, schlägt ein Alarm an, und die Änderung wird zurückgenommen, bevor ein Vorfall entsteht.
Die Antwort hängt an der Risikoklasse: Ein kleiner Teil der Änderungen braucht einen benannten Menschen vor dem Merge, der große Rest automatische Prüfungen (Gates), die niemand überstimmen kann. Diese sechs Punkte entscheiden darüber.
Gibt es eine gepflegte Karte, die Pfade auf Risikoklassen abbildet? Wir prüfen, ob die Klasse aus den berührten Dateien entsteht oder aus dem Pull-Request-Text, und was unklassifiziert passiert.
Wer muss zustimmen, bevor eine Änderung der höchsten Klasse gemergt wird? Wir sehen uns an, auf welchen Wegen diese Pflicht umgangen werden kann.
Beispieltests prüfen, was jemandem eingefallen ist. Eigenschaftstests prüfen die Regel: Idempotenz, Erhaltung von Summen, Rundungsverhalten. Wir stellen fest, wo sie fehlen.
Generierter Code bringt Bibliotheken mit, die niemand ausgesucht hat. Wir prüfen, ob neue Abhängigkeiten einen Freigabeweg haben und ob eine Stückliste der Auslieferung entsteht.
Assistenten schreiben Zugangsdaten in Beispiele, und Beispiele landen im Repository. Wir prüfen die Gates gegen Geheimnisse im Code und welche Firmendaten den Assistenten erreichen.
Steht an jeder Änderung, ob sie geschrieben, assistiert oder generiert wurde? Und wenn ein Gate etwas durchlässt: wie schnell lässt sich das zurücknehmen, und wer darf es?
Die AI Engineering Review läuft neben der Entwicklung, an Ihren echten Pull Requests der letzten Wochen. Die Dauerangaben beschreiben unseren Aufwand. Ihr Team brauchen wir nur im Erstgespräch und beim Abschluss.
Sie sprechen mit einem Solution Architect. Wir klären, wie Ihr Weg von der Änderung zur Produktion heute aussieht und ob eine Review der richtige Schritt ist.
Wir lesen Repository-Struktur, Pipeline-Konfiguration, Branch- und Freigaberegeln sowie die Pull Requests eines zusammenhängenden Zeitraums. Daraus entsteht die erste Risikokarte.
Wir ziehen Änderungen aus allen Klassen und gehen sie durch: Was hätte ein Gate fangen müssen, was hat es gefangen, was lief durch. Jeder Befund hängt an einer Pull-Request-Nummer.
Mit Ihren Teamleitungen: die Lückenliste, sortiert nach möglichem Schaden und Aufwand, dazu die eine Gate-Änderung, die sich in derselben Woche umsetzen lässt. Was danach gebaut wird, entscheiden Sie.
Der Engpass zeigt sich selten als Ausfall. Meist ist er eine Gewohnheit, über die niemand mehr spricht. Wenn Sie drei dieser Sätze kennen, liegt die Grenze in der Prüfung.
Damit Sie den Aufwand einordnen, bevor Sie ihn intern verteidigen: Diese vier Dinge sind nicht Teil der Review.
Wir prüfen, ob Ihre Gates greifen. Ob Ihr Produkt einer Norm entspricht, ist nicht Teil der Review. Ein Testat oder eine Penetrationsprüfung ist ein zweites, eigenes Mandat.
Ein Gate fängt, was als Eigenschaft formuliert wurde. Deshalb steht die schrittweise Auslieferung mit Alarm als letzte Sicherung im Modell.
Das Herkunftsprotokoll dient der Nachweisführung gegenüber Dritten. Wer es zur Leistungsmessung umwidmet, bekommt schlechtere Daten.
Zu Review-Durchsatz und Fehlerrate liegen uns keine eigenen gemessenen Werte vor. Deshalb nennen wir hier keine Prozentzahl. Sie erhalten einen Befund an Ihren eigenen Änderungen.
Bei der höchsten Risikoklasse ein benannter Mensch, vor dem Merge, ohne Umgehungsweg. Bei allem anderen prüfen Gates in der Pipeline. Entscheidend ist, dass die Klasse aus den berührten Pfaden entsteht. Die Beschreibung im Pull Request zählt dafür nicht.
In aller Regel nicht. Risikoklassen, Pflicht-Reviews und Gates lassen sich in GitHub, GitLab und Azure DevOps mit vorhandenen Mitteln abbilden. Die Arbeit steckt in der Risikokarte.
Der umgekehrte Fall ist wahrscheinlicher. Heute laufen alle Änderungen durch dieselbe Warteschlange, auch die ungefährlichen. Sortieren nimmt den größten Teil heraus und lenkt die Aufmerksamkeit des Review-Teams dorthin, wo sie gebraucht wird.
Über ein Protokoll an der Änderung: Herkunft, Modell, Prompt-Hash, zugewiesene Risikoklasse und die gelaufenen Gates. Der Nachweis muss im Moment der Änderung entstehen. Nachträglich gesammelte Screenshots belegen die Zuordnung nicht.
Für Teams, die Assistenten noch nicht im Alltag einsetzen. Dort gibt es nichts zu sortieren. Und für Organisationen, die vor allem ein Dokument mit Stempel brauchen.