Observability als Prüfinstrument: die letzte Prüfung findet in der Produktion statt
Es gibt Eigenschaften, die sich vor der Auslieferung nicht seriös prüfen lassen: Verhalten unter echter Last, Zusammenspiel mit realen Daten, Wirkung auf Nutzerverhalten. Wer das anerkennt, kann den Betrieb als Prüfstufe gestalten. Wer es leugnet, hat ihn trotzdem — nur ungeplant.
Lastverhalten mit echten Datenverteilungen, seltene Zustandskombinationen und das Zusammenspiel mit angrenzenden Systemen lassen sich vor der Auslieferung nicht seriös prüfen. Jede Änderung braucht deshalb drei begleitende Signale: Fehlerrate, Antwortzeit und ein fachliches Signal (erfolgreich abgeschlossene Vorgänge im betroffenen Bereich) — letzteres fehlt fast immer. Kontrolliert heißt: kleiner Lastanteil zuerst, Vergleich gegen den unveränderten Teil, automatische Rücknahme bei vorher festgelegter Schwellenüberschreitung. Gute Beobachtbarkeit senkt die nötige Prüftiefe und gehört damit in die Risikoeinstufung.
Was vorher nicht prüfbar ist
Drei Dinge zuverlässig nicht. Erstens Lastverhalten mit echten Datenverteilungen: Testdaten sind gleichmäßiger als die Wirklichkeit. Zweitens seltene Zustandskombinationen, die in Produktion millionenfach entstehen und im Test nie. Drittens die Wirkung von Änderungen auf angrenzende Systeme, die nur in Produktion vollständig verbunden sind.
Die drei Signale, die eine Änderung begleiten müssen
Fehlerrate, Antwortzeit und ein fachliches Signal — die Zahl der erfolgreich abgeschlossenen Vorgänge im betroffenen Bereich. Das dritte fehlt fast immer und ist das wichtigste: Ein System kann technisch fehlerfrei laufen und fachlich stillstehen, weil ein Schritt niemanden mehr durchlässt. Technische Signale allein zeigen das nicht.
Kontrolliert heißt: klein anfangen und zurückkönnen
Eine Änderung geht zuerst an einen kleinen Anteil der Last. Die drei Signale werden gegen den unveränderten Teil verglichen. Weicht eines über eine vorher festgelegte Schwelle ab, wird automatisch zurückgenommen. Entscheidend sind beide Wörter: vorher festgelegt und automatisch. Eine Schwelle, die im Vorfall diskutiert wird, ist keine.
Warum das mit hohem Änderungsvolumen wichtiger wird
Weil die Zahl der Änderungen steigt und damit die Wahrscheinlichkeit, dass eine davon etwas tut, was niemand vorhergesehen hat. Bei zwanzig Auslieferungen pro Woche ist die Frage nicht, ob eine davon Probleme macht, sondern wie schnell man es merkt. Die Zeit bis zur Erkennung ist damit eine der wichtigsten Kennzahlen überhaupt.
Der Zusammenhang mit dem Review
Beobachtbarkeit im Betrieb ersetzt keine Prüfung vorher, aber sie verändert deren nötige Tiefe. Eine Änderung in einem Bereich mit vollständiger Beobachtung, kleinem Rollout und automatischem Rückweg trägt weniger Risiko als dieselbe Änderung in einem Bereich ohne all das — und darf deshalb in einer niedrigeren Risikoklasse laufen. Beobachtbarkeit ist damit nicht nur Betriebsthema, sondern ein Kriterium der Risikoeinstufung.
Häufige Fragen
Was ist ein fachliches Signal?
Eine Zahl, die den Geschäftsvorgang misst statt die Technik: abgeschlossene Bestellungen, erfolgreich gebuchte Vorgänge, ausgestellte Dokumente. Sie zeigt Ausfälle, die technisch unauffällig sind — etwa eine Prüfung, die nach einer Änderung alles ablehnt.
Ab welcher Größe lohnt sich Progressive Delivery?
Ab dem Punkt, an dem eine fehlerhafte Auslieferung mehr kostet als die Einrichtung. Das ist in der Praxis früher als vermutet: Schon eine einzelne größere Störung übersteigt den Aufwand für eine gestufte Ausrollung mit automatischem Rückweg.
Wie schnell muss eine Rücknahme sein?
Schneller als die Zeit, in der ein Schaden entsteht — praktisch Minuten, nicht Stunden. Deshalb muss die Umschaltung über Konfiguration laufen und nicht über eine erneute Auslieferung, und der Rückweg muss vorher getestet sein.
Ersetzt Beobachtung im Betrieb das Testen?
Nein, sie ergänzt es um die Eigenschaften, die vorher nicht prüfbar sind. Wer Tests einspart, weil er beobachtet, verlagert Fehler zu den Nutzern. Der Sinn ist umgekehrt: Weil beobachtet wird, kann die menschliche Prüfung dort entfallen, wo sie ohnehin wenig gefunden hätte.
Bringen Sie einen Pull Request mit, der zu groß war.
30 Minuten, kein Vertrieb. Wir gehen ihn durch und sagen, was ein Modell daran geändert hätte.
AI Engineering Review ansehen →
