10 Reinforcement-Learning-Use-Cases für die Wirtschaft

Wie lernt Reinforcement Learning: Zustand, Handlung, Belohnung

Ein Agent beobachtet den Zustand eines Systems, wählt eine Handlung, bekommt eine Rückmeldung in Form einer Belohnung und passt seine Strategie an. Etikettierte Trainingsdaten braucht er dafür keine, er lernt am Ergebnis. Das passt überall dort, wo sich Erfolg messen lässt: Durchlaufzeit, Energieverbrauch, Ausschuss, Greifquote. Vier Bausteine reichen, um jedes RL-Vorhaben zu beschreiben: der Zustand (was der Agent sieht), die Handlung (was er verändern darf), die Belohnung (wie das Ergebnis bewertet wird) und die Umgebung, in der er üben kann.

Die Belohnungsfunktion ist der Teil, den Entscheider verstehen müssen, weil sie die betriebliche Zielsetzung in eine Zahl übersetzt. Wer nur Durchlaufzeit belohnt, bekommt einen Agenten, der Rüstzeiten ignoriert. Wer nur Energie belohnt, bekommt verspätete Aufträge. Die Kunst liegt darin, die zwei bis vier Ziele des Betriebs zu gewichten, und genau diese Gewichtung ist eine Entscheidung der Werkleitung, keine der Data Scientists. Bekannt wurde das Verfahren 2016, als AlphaGo von DeepMind den Go-Profi Lee Sedol schlug. Im selben Jahr berichtete DeepMind, dass ein RL-System die Kühlenergie in Google-Rechenzentren um bis zu 40 Prozent senkte. Beide Fälle haben gemeinsam, was auch im Betrieb gilt: klarer Zustand, klare Handlung, klar messbares Ergebnis.

Welche zehn Einsatzfelder haben einen wirtschaftlichen Kern?

Die folgende Liste ist nach dem Grad geordnet, in dem die Voraussetzungen im Industrie-Mittelstand heute meist vorliegen. Vorne stehen Felder, in denen Daten und Simulation oft schon existieren, hinten die, für die erst eine Datenbasis entstehen muss.

• Produktionsplanung und Reihenfolgebildung: Rüstzeiten minimieren, Engpässe umplanen, Liefertermine halten. Der Zustand ist die Auftragsliste mit Terminen, die Handlung die Reihenfolge je Maschine. Wie sich das vom klassischen APS unterscheidet, steht in APS oder KI-Planungsassistent.
• Energie-Lastmanagement: Lastspitzen glätten, energieintensive Schritte in günstige Zeitfenster legen. Die Belohnung koppelt Strompreis und Leistungsspitze an die Termintreue, mehr dazu in Energieflexible Produktion.
• Robotik und Greifen: Bin-Picking und Handhabung unbekannter Teile, die Domäne von Physical AI. Die Belohnung ist schlicht: Griff gelungen oder nicht, Teil unbeschädigt oder nicht.
• Prozessregelung: Sollwerte in Chemie und Verfahrenstechnik dynamisch nachführen statt statisch festschreiben. Hier ist der Fehlgriff teuer, deshalb üben Agenten ausschließlich am Modell.
• Instandhaltungsfenster: Wartungszeitpunkte gegen Produktionsplan und Ausfallrisiko abwägen. Voraussetzung ist eine Wartungshistorie, die mehr als zwölf Monate zurückreicht.
• Intralogistik: Routen für fahrerlose Transportsysteme und AMR-Flotten laufend optimieren. Die Simulation ist meist beim Flottenhersteller schon vorhanden, siehe AMR-Flottenmanagement.
• Bestandssteuerung: Bestellpunkte und Losgrößen am tatsächlichen Verbrauch lernen. Die Belohnung bestraft Fehlmengen und Kapitalbindung zugleich.
• Preis- und Angebotssteuerung: Rabattkorridore an Auslastung und Gewinnraten koppeln. Wirtschaftlich stark, aber nur mit sauberer Gewinnrate je Angebot als Datengrundlage.
• Qualitätsprüfung: Prüfpläne dorthin verlagern, wo Fehler wahrscheinlich sind. Der Agent lernt, welche Stichprobe den größten Erkenntnisgewinn je Prüfminute bringt.
• Netz- und Ressourcensteuerung: Rechenlast, Kühlung und Pufferspeicher vorausschauend fahren, das Feld, in dem RL seinen ersten großen industriellen Nachweis erbracht hat.

Woran erkennen Sie das richtige Einstiegsfeld?

Vier Fragen entscheiden, ob ein Feld heute reif ist: Lässt sich der Erfolg als Zahl ausdrücken? Gibt es eine Umgebung, in der der Agent gefahrlos üben kann? Liegen die Zustandsdaten digital und zeitnah vor? Und was kostet ein Fehlgriff im Echtbetrieb? Das Raster zeigt, wie diese vier Fragen in unserer Praxis für die sechs häufigsten Felder ausfallen.

Die Reihenfolgeplanung und die Intralogistik stehen deshalb vorn, weil der Erfolg dort in Minuten messbar ist, ein Fehlgriff nur einen schlechteren Plan bedeutet und die Simulation oft aus dem Planungswerkzeug oder dem Flottenmanager kommt. Die Prozessregelung steht trotz hoher Messbarkeit hinten, weil ein falscher Sollwert Material ruinieren kann und deshalb erst ein belastbares Prozessmodell existieren muss. Wer noch keinen digitalen Zwilling hat, findet in Digitaler Zwilling der Produktion, wie eine ausreichende Simulation ohne Großprojekt entsteht.

Regelwerk oder lernender Agent: Was ändert sich für den Planer?

Die meisten Betriebe planen heute nach festen Regeln: erst Liefertermin, dann Rüstfamilie, dann Maschinenverfügbarkeit. Das ist nachvollziehbar und in ruhigen Wochen gut genug. Der Unterschied zum RL-Agenten zeigt sich, sobald sich der Auftragsmix ändert oder ein Eilauftrag den Plan umwirft. Der Vergleich zeigt, was sich im Alltag verschiebt.

Wichtig für die Werkleitung: Der Agent liefert einen Vorschlag, die Freigabe bleibt beim Planer. In unserer Praxis akzeptieren Planer einen Vorschlag erst, wenn sie sehen, welche Belohnung der Agent maximiert hat und welche Alternativen er verworfen hat. Diese Erklärbarkeit ist Teil der Architektur, keine spätere Zugabe. Wie ein solcher Vorschlagsprozess in bestehende Abläufe passt, beschreibt Produktionsplanung mit KI.

Muster-Eintrag: Eine Belohnungsfunktion für die Reihenfolgeplanung

So sieht eine Belohnungsfunktion aus, die eine Werkleitung lesen und freigeben kann. Beispiel für eine Linie mit acht Maschinen und rund 120 Aufträgen pro Woche: „Belohnung je Woche = minus 1 Punkt je Rüstminute, minus 10 Punkte je Stunde Verspätung gegenüber dem bestätigten Liefertermin, minus 50 Punkte je Auftrag, der mehr als 24 Stunden zu spät ist, plus 2 Punkte je Stunde, die ein Engpass-Aggregat ohne Wartezeit läuft.“ Vier Zeilen, vier Gewichte, jedes davon eine betriebliche Entscheidung. Wer die 10 Punkte je Verspätungsstunde auf 20 erhöht, bekommt einen Agenten, der häufiger rüstet und pünktlicher liefert.

Die Faustregel für jede Belohnungsfunktion: Jedes Gewicht muss sich in Euro oder Minuten begründen lassen. Ein Gewicht, das niemand begründen kann, wird nach dem ersten überraschenden Vorschlag angezweifelt, und dann ist das Vertrauen weg.

Was ein RL-Pilot in vier Wochen leisten muss

Ein Pilot beweist keinen fertigen Regelbetrieb. Er beweist, dass die Belohnungsfunktion das Richtige misst und dass der Agent in der Simulation den bisherigen Plan schlägt. Vier Schritte haben sich in unserer Praxis bewährt, jeder mit einem Ergebnis, das die Geschäftsführung ohne Fachwissen beurteilen kann.

• Woche 1, Basislinie: Die letzten acht Wochen Ist-Daten werden mit dem heutigen Regelwerk nachgerechnet: Rüstminuten, Verspätungsstunden, Engpassauslastung. Diese Zahlen sind der Maßstab.
• Woche 2, Belohnungsfunktion und Simulation: Werkleitung und Planer gewichten die Ziele. Die Simulation wird gegen die Basislinie geprüft: Liefert sie für die alten Wochen dieselben Zahlen wie die Realität?
• Woche 3, Training: Der Agent übt an tausenden simulierten Wochen. Ergebnis ist eine Strategie und der Vergleich gegen die Basislinie in denselben drei Zahlen.
• Woche 4, Schattenbetrieb: Der Agent schlägt täglich vor, der Planer plant weiter wie bisher. Abends wird verglichen. Erst danach fällt die Entscheidung über den Regelbetrieb.

Vor dem Start gehört ein Abbruchkriterium in das Projektblatt: Schlägt der Agent die Basislinie in der Simulation nach Woche 3 nicht um einen vorher festgelegten Wert, endet der Pilot. Wie ein solches Kriterium formuliert wird, steht in Abbruchkriterium für den KI-Pilot. Den Bewertungsbogen für die Feldauswahl, die Belohnungsfunktion und das Abbruchkriterium können Sie als druckbares Arbeitsblatt (PDF) herunterladen.

Was Reinforcement Learning nicht löst

RL braucht eine Umgebung, in der das System gefahrlos üben kann, meist eine Simulation, und eine saubere Datengrundlage für die Belohnungsfunktion. Wer seine Prozesse noch nicht digital abbildet, startet besser eine Stufe früher: Daten strukturieren, Wissen abrufbar machen, dann optimieren. Erst das Gehirn, dann die Hände. Was diese Stufe konkret verlangt, beschreibt Datenqualität als Fundament vor dem KI-Projekt.

RL löst außerdem keine Zielkonflikte, es macht sie sichtbar. Wenn Vertrieb Termintreue und Produktion Rüstminimierung will, muss die Gewichtung vorher entschieden werden. Es ersetzt auch keinen Planer: Störungen, die im Zustand nicht abgebildet sind, etwa ein kranker Einrichter oder eine fehlende Zeichnung, sieht der Agent nicht. Und es ist kein Werkzeug für seltene Entscheidungen. Eine Standortverlagerung oder eine Maschineninvestition fällt einmal, dafür gibt es keine tausend Übungsdurchläufe. Für diese Fälle bleibt die Szenariorechnung mit einem digitalen Zwilling das passende Mittel.