Postmortem bei hohem Änderungsvolumen: die Ursache liegt selten in einer Zeile
Die klassische Fehleranalyse sucht die Änderung, die den Vorfall ausgelöst hat. Bei niedriger Änderungsfrequenz funktioniert das. Bei zwanzig Änderungen zwischen zwei Auslieferungen führt es zu einer Zuweisung, die zufällig ist — und zu einer Maßnahme, die nichts verhindert.
Bei zwanzig Änderungen zwischen zwei Auslieferungen ist die Suche nach der auslösenden Änderung zufällig. Die tragfähige Frage lautet: Welche Prüfung hätte das gefunden, und warum gab es sie nicht? Vier Fragen strukturieren das Postmortem: War die Risikoklasse richtig, hätte ein Gate greifen müssen und existiert es, warum hat es nicht ausgelöst (falsch geschnitten, deaktiviert, per Ausnahme übergangen), und wie lange dauerte die Erkennung. Ergebnis sind höchstens zwei Maßnahmen mit Verantwortlichem und Frist, mindestens eine davon technisch.
Die richtige Frage
Nicht: Welche Änderung war es? Sondern: Welche Prüfung hätte das gefunden, und warum gab es sie nicht? Diese Verschiebung ändert das Ergebnis eines Postmortems vollständig. Aus einer Zuweisung wird eine Lücke im Modell, und Lücken lassen sich schließen — Personen lassen sich nicht ändern.
Die vier Fragen, die tragen
Erstens: In welcher Risikoklasse lag die Änderung, und war das richtig? Zweitens: Welches Gate hätte greifen müssen, und existiert es? Drittens: Wenn es existiert, warum hat es nicht ausgelöst — falsch geschnitten, deaktiviert, oder als Ausnahme übergangen? Viertens: Wie lange hat es gedauert, bis der Vorfall bemerkt wurde, und woran lag das?
Warum die vierte Frage die wichtigste ist
Bei hohem Volumen ist nicht zu verhindern, dass etwas durchkommt. Was sich beeinflussen lässt, ist die Zeit bis zur Erkennung und die Zeit bis zur Rücknahme. Ein Vorfall, der nach vier Minuten erkannt und nach sechs zurückgenommen wurde, ist ein anderer Vorfall als derselbe Fehler nach zwei Tagen — auch wenn die Ursache identisch ist.
Was aus einem Postmortem herauskommen sollte
Höchstens zwei Maßnahmen, beide mit Verantwortlichem und Frist, und mindestens eine davon technisch — eine neue Prüfung, eine geänderte Klassifizierung, ein zusätzliches Signal. Maßnahmen wie „künftig sorgfältiger prüfen" sind keine Maßnahmen. Und eine Liste mit zwölf Punkten wird nicht abgearbeitet; zwei werden es.
Der Umgang mit der Herkunft
Wenn die Herkunft der Änderung gekennzeichnet ist, gehört sie in die Auswertung — aber als Muster über viele Vorfälle, nicht als Erklärung für einen. Die interessante Frage ist, ob sich Vorfälle in bestimmten Bereichen häufen, in denen viel generiert wird. Das ist ein Hinweis auf eine falsche Risikoklasse, nicht auf ein Problem mit dem Werkzeug.
Häufige Fragen
Warum nicht nach der auslösenden Änderung suchen?
Weil die Zuweisung bei hoher Frequenz zufällig wird und zu Maßnahmen führt, die nichts verhindern. Die Lücke im Prüfmodell ist die belastbare Ursache — sie erklärt auch, warum derselbe Fehler in anderer Form wiederkommen könnte.
Wie viele Maßnahmen sollte ein Postmortem hervorbringen?
Höchstens zwei, jeweils mit Verantwortlichem und Frist. Längere Listen werden nicht abgearbeitet, und die Erfahrung, dass Maßnahmen folgenlos bleiben, beschädigt den ganzen Prozess.
Gehört die Herkunft der Änderung ins Postmortem?
Als Muster über viele Vorfälle ja, als Erklärung für einen einzelnen nein. Häufen sich Vorfälle in Bereichen mit hohem generierten Anteil, ist das ein Hinweis auf eine zu niedrige Risikoklasse in diesem Bereich.
Wie misst man die Zeit bis zur Erkennung?
Vom Wirksamwerden der Änderung bis zum ersten Alarm oder der ersten Meldung. Diese Zahl ist bei hoher Änderungsfrequenz die wichtigste Kennzahl überhaupt, weil sie den Schaden begrenzt, wenn eine Prüfung durchgerutscht ist.
Bringen Sie einen Pull Request mit, der zu groß war.
30 Minuten, kein Vertrieb. Wir gehen ihn durch und sagen, was ein Modell daran geändert hätte.
AI Engineering Review ansehen →
