KI-ROI messen in der Industrie: Die Methode in sechs Wochen

Kurz beantwortetDie Methode zum Messen des KI-ROI in der Industrie ist ein Messplan mit fünf festen Punkten: Vorher-Zahl in Woche 0, Schwelle und Datum in Woche 1, Pilot auf echten Fällen in den Wochen 2 bis 5, Nachher-Zahl in Woche 6 mit derselben Uhr, zweite Messung nach sechs Monaten. Störgrößen wie Auftragslage, Saison und Personalwechsel werden im Messprotokoll notiert statt weggerechnet. Bei TROESTER lieferte diese Methode die Lösungszeit von rund sechs Stunden auf 76 Minuten.

Was unterscheidet eine Messung von einer Schätzung?

Eine Messung hat eine Uhr, eine Vorher-Zahl und ein Protokoll; eine Schätzung hat eine Meinung nach dem Pilot. Der Unterschied entscheidet darüber, ob die Zahl eine Budgetrunde übersteht. In Erstgesprächen hören wir regelmäßig „gefühlt die Hälfte schneller", und diese Aussage ist oft sogar richtig. Sie ist nur nichts wert, wenn der Geschäftsführer fragt, woher sie stammt.

Die rechte Spalte ist die Methode dieses Artikels. Jeder Punkt darin ist eine Entscheidung, die vor dem Pilot fällt, und keiner davon kostet mehr als einen halben Tag. Welche Kennzahlen sich dafür eignen und welche nur Nutzung statt Nutzen zeigen, ordnet Welche Kennzahlen belegen den Nutzen einer KI-Einführung ein. Hier geht es um das Messdesign: Wann, womit, gegen was und wie protokolliert.

Wie sieht der Messplan auf der Zeitachse aus?

Fünf Punkte über sechs Wochen, dazu einer nach sechs Monaten. Die Reihenfolge ist der Kern der Methode: Die Vorher-Zahl steht, bevor jemand das System gesehen hat, und die Schwelle steht, bevor der erste Fall gemessen wird.

Woche 0, Vorher-Zahl. Zwanzig Fälle der gewählten Kennzahl aus den letzten drei Monaten, ohne Auswahl, als Median. Dazu je Fall die Kategorie, die Anlage und die beteiligte Person, damit die Nachher-Messung dieselben Fallarten trifft. Wo kein System Zeiten erfasst, ersetzt eine Woche Strichliste bei zehn Mitarbeitern die Datenbankabfrage.

Woche 1, Schwelle und Datum. Aus Fallzahl, Vollkostensatz und den vom Anbieter schriftlich genannten Betriebskosten folgt die Mindestersparnis je Fall. Sie wird zur Schwelle, das Datum der Nachher-Messung dazu, und beides unterschreiben Fachbereich, IT und Geschäftsführung. Wie der Satz formuliert wird, der daraus entsteht, steht in Abbruchkriterium für KI-Piloten.

Woche 2 bis 5, Pilot. Auf echten Fällen aus den echten Quellsystemen, mit den Leuten, die den Prozess fahren. Die Uhr läuft weiter wie vorher: Wenn das Ticketsystem die Zeit gestoppt hat, stoppt es sie auch jetzt. Zwei Wochen reichen bei Lesezugriff auf die Quellen, wie der TROESTER-Pilot zeigt; vier Wochen, wenn Fälle selten sind.

Woche 6, Nachher-Zahl. Dieselbe Abfrage, dieselbe Uhr, dieselben Kategorien, Median über die Pilotfälle. Vergleich mit Schwelle, Entscheidung, Bericht mit einer Seite: Vorher, Nachher, Schwelle, Störgrößen, Empfehlung.

Monat 6, Regelbetrieb. Dieselbe Messung ein zweites Mal. Sie zeigt, ob der Nutzen bleibt, wenn das Projektteam weg ist, und sie ist die Zahl, die im Jahresbericht steht. Wie der Übergang vom Pilot in den Regelbetrieb organisiert wird, damit diese Zahl hält, beschreibt Vom Pilot in den Regelbetrieb.

Welche Störgrößen verfälschen den KI-ROI, und wie gehe ich damit um?

Vier Störgrößen tauchen in fast jeder Messung auf: Auftragslage, Saison, Personalwechsel und der Aufmerksamkeitseffekt des Piloten selbst. Der Umgang damit ist derselbe: notieren statt wegrechnen. Eine Messung mit dokumentierten Störgrößen überzeugt ein Gremium; eine bereinigte Zahl mit unbekannter Bereinigung überzeugt niemanden.

Die Tabelle ist zugleich die Prüfliste für die Berichtsseite: Jede Störgröße bekommt eine Zeile, auch wenn sie im Pilot ruhig geblieben ist. Ein Bericht, der schreibt „Auftragslage im Pilotzeitraum vergleichbar, 48 gegen 51 Fälle", hat die Diskussion vorweggenommen, die sonst in der Sitzung entsteht.

Wie rechne ich vom Messwert zum ROI?

Mit derselben Formel in jedem Bereich: Nutzen je Jahr gleich Ersparnis je Fall mal Fälle je Jahr mal Vollkostensatz; ROI gleich Nutzen minus Betriebskosten geteilt durch Betriebskosten. Die Methode legt fest, woher jede der vier Zahlen kommt und wer sie unterschreibt.

Beispiel, Annahmen gekennzeichnet. Ein Fertigungsbetrieb misst die Zeit bis zur Diagnose bei ungeplanten Stillständen aus dem Schichtbuch. Vorher-Zahl, Annahme: Median 95 Minuten über zwanzig Fälle. Nachher-Zahl im Pilot, Annahme: Median 40 Minuten, also 55 Minuten Ersparnis je Fall. Fallzahl, Annahme: 360 ungeplante Stillstände je Jahr. Vollkostensatz, Annahme: 60 Euro je Stunde für den Instandhalter plus 400 Euro je Stillstandsstunde für die Anlage, zusammen 460 Euro je Stunde. Nutzen je Jahr: 55 / 60 × 360 × 460 = rund 152.000 Euro. Betriebskosten, Annahme: 55.000 Euro je Jahr. ROI: (152.000 minus 55.000) / 55.000 = 1,8, also 180 Prozent, Amortisation rund viereinhalb Monate. Die Schwelle aus Woche 1 lautete in diesem Beispiel: mindestens 20 Minuten Ersparnis je Fall, damit das erste Jahr die Kosten deckt (55.000 / (360 × 460) × 60 = 19,9 Minuten). Der Pilot lag deutlich darüber; die Entscheidung fiel mit der Zahl, nicht mit einer Präsentation.

Die Rechnung mit Zeitstempeln aus dem Ticketsystem, Zweitanreisen und der TROESTER-Zahl als Referenz steht für den Service in ROI einer KI-Einführung im industriellen Service messen. Die Kostenseite mit allen fünf Blöcken des ersten Jahres, die hier als „Betriebskosten" in einer Zeile steht, entfaltet KI-Wirtschaftlichkeit in der Fertigung.

Wie sieht das Messprotokoll aus, das die Zahl trägt?

Eine Seite mit sieben Feldern, vor dem Pilot angelegt und nach dem Pilot ausgefüllt. Es ist das Dokument, das nach zwei Jahren noch erklärt, wie die Zahl entstand, wenn niemand aus dem Projektteam mehr da ist.

1. Kennzahl und Definition. Ein Satz: „Lösungszeit je Störung, Eingang bis Status behoben, Median." Dazu die Uhr: welches System, welches Feld.
2. Vorher-Zahl mit Fallliste. Zwanzig Fälle mit Datum, Kategorie, Anlage, Person, Dauer. Median, Zeitraum der Erhebung.
3. Schwelle, Datum, Unterschriften. Mindestersparnis je Fall mit Herleitung aus Fallzahl, Vollkostensatz und Betriebskosten. Datum der Nachher-Messung. Drei Unterschriften.
4. Betriebskosten des ersten Jahres. Schriftlich vom Anbieter, mit Hosting, Lizenz, Pflege, Anbindung; dazu der eigene Aufwand mit Namen.
5. Nachher-Zahl mit Fallliste. Dieselben Spalten wie vorher, dieselben Kategorien. Median. Störgrößen als Zeilen darunter.
6. Rechnung und Entscheidung. Nutzen je Jahr, ROI, Vergleich mit Schwelle, Empfehlung: Ausbau, Anpassung oder Abbruch mit Befund.
7. Termin Monat 6. Datum der zweiten Messung im Kalender der Geschäftsführung, mit Verantwortlichem.

KI-Kennzahlen in der Produktion: welche Kennzahl nehme ich, wenn es mehrere gibt?

Eine je Pilot, höchstens zwei, und zwar die, an der der Engpass hängt. In der Produktion konkurrieren Stillstandsstunden, Rüstzeit, Durchlaufzeit, Liefertreue und Suchzeit um die Rolle der Messgröße; die Methode verlangt, dass vor dem Start eine gewählt wird und die anderen als Nebenwirkung notiert werden. Wer drei Kennzahlen misst, findet nach dem Pilot immer eine, die gestiegen ist, und genau das macht die Messung angreifbar. Die Übersicht, welche Kennzahl in der Produktion woher kommt und welche KI-Anwendung sie bewegt, steht in KI-Kennzahlen in der Produktion: die Übersicht.

Welche fünf Messfehler machen den KI-ROI wertlos?

• Die Vorher-Zahl kommt nach dem Pilot. Aus der Erinnerung rekonstruiert, ist sie eine Schätzung mit Datum. Die Methode verlangt Woche 0 vor dem ersten Blick auf das System.
• Die Schwelle wandert. In Woche 4 liegt die Zahl über der Schwelle, und jemand schlägt ein „Zwischenziel" vor. Das Kriterium ist damit wertlos; wer ändern will, beendet den Pilot und startet neu.
• Der Mittelwert statt des Medians. Ein einziger Fall mit drei Tagen Lieferzeit macht aus 76 Minuten zwei Stunden. Der Median über zwanzig Fälle bleibt stabil.
• Demodaten statt Bestand. Auf aufbereiteten Beispieldaten erreicht jedes System jede Schwelle. Gemessen wird auf den echten Quellen, die schwierigen Scans eingeschlossen.
• Nutzung statt Nutzen. Anfragen je Tag, aktive Nutzer, Zufriedenheit laut Umfrage. Sie zeigen, dass das System benutzt wird, und nichts darüber, ob der Betrieb schneller ist.

Was diese Methode bewusst weglässt: eine Kontrollgruppe. In einem Betrieb mit zehn Technikern lässt sich keine Hälfte vom Assistenten fernhalten, ohne den Service zu beschädigen. Der Vergleich mit dem eigenen Vorher und die zweite Messung nach sechs Monaten ersetzen sie, mit dokumentierten Störgrößen. Wie die Methode auch bei Schulungen und weichen Vorhaben funktioniert, zeigt Wirkung messen mit der Vorher-Zahl.

Begriffe kurz erklärt

Messplan

Die fünf festen Punkte auf der Zeitachse: Vorher-Zahl, Schwelle und Datum, Pilot, Nachher-Zahl, zweite Messung nach sechs Monaten.

Störgröße

Einfluss außerhalb des Systems, der die Kennzahl bewegt: Auftragslage, Saison, Personalwechsel, Aufmerksamkeit. Wird notiert statt weggerechnet.

Median

Der mittlere Wert einer sortierten Reihe. Robust gegen einzelne Ausreißer, deshalb die Kenngröße für zwanzig Fälle.

Messprotokoll

Eine Seite mit Kennzahl, Fallliste, Schwelle, Betriebskosten, Nachher-Zahl, Rechnung und Termin der zweiten Messung.

Weiterführend

• ROI einer KI-Einführung im industriellen Service messen: Zeitstempel, Zweitanreisen, TROESTER-Zahl.
• KI-Wirtschaftlichkeit in der Fertigung: die Kostenseite in fünf Blöcken.
• KI-Kennzahlen in der Produktion und Welche Kennzahlen belegen den Nutzen.
• Abbruchkriterium für KI-Piloten und Erfolg eines Wissensmanagement-Piloten messen.
• KI-Lösung: ROI nachweisen und Kennzahlen, die aus dem Prozess entstehen.
• Themen-Hub: ROI-Messung einer KI-Einführung in der Fertigung, die Leistungsseite KI-Integration: Beratung und die Rechner.