Abbruchkriterium für KI-Piloten: Wann ein Projekt enden muss

Warum ein Pilot ohne Ende ein Projekt in Verkleidung ist

Ein Pilot ist ein Test mit begrenztem Einsatz. Seine Aufgabe ist eine Antwort: trägt sich der Fall oder nicht. Ohne Abbruchkriterium wird aus dem Test ein Vorhaben, das sich selbst rechtfertigt, weil schon so viel investiert wurde. Wir sehen das Muster in fast jedem Erstgespräch über einen gescheiterten Vorlauf: Der Pilot hatte ein Startdatum, ein Budget und ein Team, aber keine Zahl, an der er hätte scheitern können. Was so lange dauert, ist meist ein Projekt ohne Abbruchkriterium, wie es in KI-Kosten explodieren nach dem Pilot beschrieben ist.

Das Abbruchkriterium schützt dabei nicht das Budget allein. Es schützt die Glaubwürdigkeit des Vorhabens im Haus. Ein Pilot, der nach vier Wochen mit einer klaren Zahl endet, egal in welche Richtung, hat mehr Rückhalt als einer, der nach acht Monaten mit einer Präsentation endet.

Welche drei Fragen ein Abbruchkriterium beantwortet?

Frage eins: Welche Zahl? Eine Größe, die der Prozess heute schon hat und die sich mit Bordmitteln messen lässt: Lösungszeit pro Störung, Durchlaufzeit pro Angebot, Suchzeit pro Fachfrage, Anteil der Rückfragen. Die Zahl muss vor dem Start erhoben werden, über die letzten zwanzig Fälle, schriftlich. Ohne Vorher-Zahl gibt es nichts, woran der Pilot scheitern könnte. Wie das Erheben praktisch geht, zeigt Wirkung messen mit der Vorher-Zahl.

Frage zwei: Wie viel besser? Die Schwelle steht vorher fest und ist ehrlich: die Zahl, ab der sich der Ausbau rechnet, statt der Zahl, die man sich wünscht. Bei einer Lösungszeit von sechs Stunden ist eine Halbierung ein Ziel, das ein Team ernst nimmt; bei TROESTER standen am Ende 76 Minuten, gemessen im Zwei-Wochen-Pilot. Die Schwelle darf niedriger liegen als das Ergebnis. Sie darf nur nicht nachträglich verschoben werden.

Frage drei: Bis wann? Ein Datum, an dem gemessen wird, mit derselben Methode wie vorher. Zwei bis vier Wochen reichen, wenn Lesezugriff auf die Quellsysteme besteht. Länger heißt fast immer, dass eine der ersten beiden Fragen offen ist.

Wie das Kriterium in einem Satz aussieht

Ein Muster, das in der Praxis hält: „Wenn die Lösungszeit pro Störung in den protokollierten Fällen bis zum 30. Oktober nicht unter drei Stunden liegt, endet der Pilot, und wir dokumentieren, warum." Der Satz nennt Zahl, Schwelle, Datum und die Folge. Er wird vor dem Kickoff von Fachbereich, IT und Geschäftsführung unterschrieben, und er steht im ersten Absatz jedes Statusberichts.

Der letzte Halbsatz ist wichtig: „und wir dokumentieren, warum." Ein abgebrochener Pilot mit Befund ist ein Ergebnis. Er sagt dem Betrieb, ob es an den Daten lag, am Prozess oder an der Technik, und jede dieser drei Antworten spart beim nächsten Anlauf Wochen.

Die drei häufigsten Fehler

• Die Schwelle wandert. Nach Woche zwei liegt die Zahl bei vier Stunden statt drei, und jemand schlägt vor, drei Stunden „als Zwischenziel" zu behandeln. Das Kriterium ist damit wertlos. Wer die Schwelle ändern will, beendet den Pilot und startet einen neuen, mit neuer Vorher-Zahl.
• Demodaten statt Bestand. Ein Pilot auf aufbereiteten Beispieldaten erreicht fast jede Schwelle. Die Messung zählt nur auf echten Fällen aus den echten Quellsystemen, die schwierigen Dokumente von 2019 eingeschlossen.
• Niemand misst nachher. Das Datum kommt, die Zahl wird nicht erhoben, weil alle mit dem Ausbau beschäftigt sind. Die Nachher-Messung ist ein Termin im Kalender der Geschäftsführung, kein Nebenprodukt.

Was das Abbruchkriterium nicht leistet

Es beantwortet nicht, ob der Fall der richtige war. Ein Pilot kann seine Schwelle erreichen und trotzdem den falschen Prozess automatisieren, weil ein anderer dreimal so viel kostet; das klärt die Prozessanalyse vorher. Es ersetzt auch nicht die Entscheidung, wer das System nach dem Pilot betreibt. Und es schützt nicht vor einem Pilot, der technisch funktioniert und im Betrieb nicht benutzt wird: Dagegen hilft nur die Beteiligung der Leute, die den Prozess fahren, vom ersten Tag an.