skillbyte · KI für den Mittelstand

Die Wörter hinter den KI-Agenten

Harness, Loop, Memory, RAG, Eval, LLM Ops — an einem Bild erklärt.

Sechs Begriffe, ein Bild

  • Agent Run — was bei einer einzelnen Anfrage passiert
  • Memory — was sich das System dauerhaft merkt
  • RAG — wie es die passende Erinnerung wiederfindet
  • Loop — wie der Agent mehrere Schritte hintereinander geht
  • Harness — alles, was Sie um das Modell herum bauen
  • LLM Ops / Eval — wie Sie sehen, ob es gut läuft
Das Modell kennt Ihr Unternehmen nicht
Ein großes Sprachmodell hat sehr viel Text gelesen. Über Physik, über Geschichte, über Programmierung. Über Ihre Kundenliste, Ihre Preise und Ihre internen Regeln steht darin nichts. Alles, was das Modell über Ihre Situation weiß, muss ihm bei jeder einzelnen Anfrage mitgegeben werden. Genau darum geht es bei allen Begriffen, die jetzt kommen.
  • Es weiß nichts über Ihre Prozesse
  • Es weiß nichts über Ihre Kunden
  • Es erinnert sich an kein früheres Gespräch
  • Es antwortet mit Wahrscheinlichkeiten, also mit einem Rest Zufall

Der Agent Run

Eine einzelne Anfrage von der Frage bis zur Antwort.
AGENT RUN — alles hier drin ist flüchtig Ihre Frage Bisheriger Chat System-Prompt Arbeitsgedächtnis Kontext-Fenster Sprachmodell GPT, Claude, Gemini Antwort

Nach der Antwort ist der Schreibtisch leer

  • Ein Kontext-Fenster ist begrenzt und kostet Geld
  • Der Verlauf wächst, irgendwann passt er nicht mehr hinein
  • Wissen, das gestern erarbeitet wurde, ist heute weg
Drei Arten von Gedächtnis
In der Fachsprache werden drei Gedächtnisarten unterschieden. Die Namen klingen akademisch, die Idee dahinter ist alltäglich — wir Menschen haben genau dieselben drei Sorten.
  • Prozedural — wie ich vorgehe. Bei Ihnen: die Arbeitsanweisung
  • Semantisch — was dauerhaft gilt. Bei Ihnen: das Kundenstammblatt
  • Episodisch — was wann passiert ist. Bei Ihnen: das Vorgangsprotokoll

Memory: was den Durchlauf überlebt

Drei Speicher liefern dem Arbeitsgedächtnis genau das Passende.
AGENT RUN — alles hier drin ist flüchtig Ihre Frage Bisheriger Chat System-Prompt Arbeitsgedächtnis Kontext-Fenster Sprachmodell GPT, Claude, Gemini Antwort Prozedurales Gedächtnis Dateien und Text — „Skills“ – wie soll ich vorgehen? – z. B. Beschwerde-Regeln Semantisches Gedächtnis dauerhaftes Wissen – dauerhafte Fakten – z. B. Stammblatt Müller Episodisches Gedächtnis Verlauf mit Datum – datierte Vorgänge – z. B. Vorgang vom 3. Mai Nachrichten speichern Skill.md passende Fakten suchen letzte Vorgänge holen

RAG heißt: erst suchen, dann antworten

  • Vektor-Datenbank — sucht nach Ähnlichkeit statt nach dem exakten Wort. „Reklamation" findet auch „Beschwerde"
  • Top-k-Suche — hole daraus die k ähnlichsten Textstellen, oft fünf bis zwanzig
  • SQL — die klassische Datenbankabfrage: hole, was zeitlich zusammengehört, etwa die letzten zehn Vorgänge
  • Kombiniert — SQL grenzt den Zeitraum ein, die Ähnlichkeitssuche findet darin das Thema

Woher die Erinnerungen kommen

Datenbanken speichern, ein Verdichter fasst zusammen.
AGENT RUN — alles hier drin ist flüchtig Ihre Frage Bisheriger Chat System-Prompt Arbeitsgedächtnis Kontext-Fenster Sprachmodell GPT, Claude, Gemini Antwort Prozedurales Gedächtnis Dateien und Text — „Skills“ – wie soll ich vorgehen? – z. B. Beschwerde-Regeln Semantisches Gedächtnis dauerhaftes Wissen – dauerhafte Fakten – z. B. Stammblatt Müller Episodisches Gedächtnis Verlauf mit Datum – datierte Vorgänge – z. B. Vorgang vom 3. Mai Nachrichten speichern Skill.md RAG (Top-k-Suche) RAG + SQL (Aktualität) Gate Auslöser: alle N Gespräche Verdichter-Agent günstigeres Modell zu Fakten verdichten Fakten-Datenbank Protokoll-Datenbank
Der Agent greift zum Werkzeug
Bis hierhin liest der Agent nur. Interessant wird es, wenn er etwas tut: einen Termin eintragen, im CRM nachsehen, eine Zahlung prüfen. Das nennt sich Tool Calling — das Modell ruft gezielt eine Funktion auf. Ein Werkzeugaufruf reicht selten. Das Ergebnis des ersten Aufrufs entscheidet über den zweiten.
  • Lesen: Wer hat sich beschwert?
  • Prüfen: Wer davon hat Geld zurückbekommen?
  • Handeln: Für die offenen Fälle einen Termin anlegen

Der Loop

Denken, Werkzeug aufrufen, Ergebnis lesen — bis es reicht.
AGENT RUN — alles hier drin ist flüchtig Ihre Frage Bisheriger Chat System-Prompt Arbeitsgedächtnis Kontext-Fenster Sprachmodell GPT, Claude, Gemini Antwort Prozedurales Gedächtnis Dateien und Text — „Skills“ – wie soll ich vorgehen? – z. B. Beschwerde-Regeln Semantisches Gedächtnis dauerhaftes Wissen – dauerhafte Fakten – z. B. Stammblatt Müller Episodisches Gedächtnis Verlauf mit Datum – datierte Vorgänge – z. B. Vorgang vom 3. Mai Nachrichten speichern Skill.md RAG (Top-k-Suche) RAG + SQL (Aktualität) Gate Auslöser: alle N Gespräche Verdichter-Agent günstigeres Modell zu Fakten verdichten Fakten-Datenbank Protokoll-Datenbank Werkzeuge (Tools) Termin buchen · CRM schreiben Zahlung prüfen · Daten abrufen Tool-Aufruf Ergebnis LOOP Guardrails Abbruchregeln

Ein Loop in Aktion

Die Schleife braucht ein Ende

  • Ziel erreicht — die Aufgabe ist erledigt, der Agent antwortet
  • Rückfrage — vor kritischen Schritten entscheidet ein Mensch
  • Obergrenze — nach N Werkzeugaufrufen ist Schluss
  • Benachrichtigung — wartet der Agent auf Sie, meldet er sich aktiv

Harness: das Geschirr um das Modell

Alles, was Sie bauen, damit ein Sprachmodell verlässlich arbeitet.
AGENT RUN — alles hier drin ist flüchtig Ihre Frage Bisheriger Chat System-Prompt Arbeitsgedächtnis Kontext-Fenster Sprachmodell GPT, Claude, Gemini Antwort Prozedurales Gedächtnis Dateien und Text — „Skills“ – wie soll ich vorgehen? – z. B. Beschwerde-Regeln Semantisches Gedächtnis dauerhaftes Wissen – dauerhafte Fakten – z. B. Stammblatt Müller Episodisches Gedächtnis Verlauf mit Datum – datierte Vorgänge – z. B. Vorgang vom 3. Mai Nachrichten speichern Skill.md RAG (Top-k-Suche) RAG + SQL (Aktualität) Gate Auslöser: alle N Gespräche Verdichter-Agent günstigeres Modell zu Fakten verdichten Fakten-Datenbank Protokoll-Datenbank Werkzeuge (Tools) Termin buchen · CRM schreiben Zahlung prüfen · Daten abrufen Tool-Aufruf Ergebnis LOOP Guardrails Abbruchregeln HARNESS das Geschirr um das Modell
Ein Harness ist alles, was Sie um ein Sprachmodell herum bauen, damit aus einer starken Vorhersagemaschine ein verlässlicher Assistent wird.
skillbyte

Ohne Messung bleibt es Bauchgefühl

  • Hat der Agent die acht offenen Fälle wirklich gefunden?
  • Waren es zwei Sekunden Antwortzeit oder zwanzig?
  • Was hat der Durchlauf gekostet?
  • Und wenn etwas schieflief: an welcher Stelle genau?

LLM Ops: der Rückkanal

Protokollieren, bewerten, diagnostizieren, verbessern.
AGENT RUN — alles hier drin ist flüchtig Ihre Frage Bisheriger Chat System-Prompt Arbeitsgedächtnis Kontext-Fenster Sprachmodell GPT, Claude, Gemini Antwort Prozedurales Gedächtnis Dateien und Text — „Skills“ – wie soll ich vorgehen? – z. B. Beschwerde-Regeln Semantisches Gedächtnis dauerhaftes Wissen – dauerhafte Fakten – z. B. Stammblatt Müller Episodisches Gedächtnis Verlauf mit Datum – datierte Vorgänge – z. B. Vorgang vom 3. Mai Nachrichten speichern Skill.md RAG (Top-k-Suche) RAG + SQL (Aktualität) Gate Auslöser: alle N Gespräche Verdichter-Agent günstigeres Modell zu Fakten verdichten Fakten-Datenbank Protokoll-Datenbank Werkzeuge (Tools) Termin buchen · CRM schreiben Zahlung prüfen · Daten abrufen Tool-Aufruf Ergebnis LOOP Guardrails Abbruchregeln HARNESS das Geschirr um das Modell LLM OPS beobachten, bewerten, verbessern Trace eine Spur pro Lauf Eval — war es gut? Modell als Prüfer Observe — gesund? Zeit, Kosten, Fehler Diagnose wo und warum kaputt? Reicht ein Fix an Prompt und Konfiguration? Gate ja: kleiner Fix Release neuer Prompt-Stand, Modell, Tools, Top-k nein: Fehler beheben, Lauf wiederholen in den Harness

Das ganze Bild

Agent Run, Memory, Loop, Harness und LLM Ops in einem System.
AGENT RUN — alles hier drin ist flüchtig Ihre Frage Bisheriger Chat System-Prompt Arbeitsgedächtnis Kontext-Fenster Sprachmodell GPT, Claude, Gemini Antwort Prozedurales Gedächtnis Dateien und Text — „Skills“ – wie soll ich vorgehen? – z. B. Beschwerde-Regeln Semantisches Gedächtnis dauerhaftes Wissen – dauerhafte Fakten – z. B. Stammblatt Müller Episodisches Gedächtnis Verlauf mit Datum – datierte Vorgänge – z. B. Vorgang vom 3. Mai Nachrichten speichern Skill.md RAG (Top-k-Suche) RAG + SQL (Aktualität) Gate Auslöser: alle N Gespräche Verdichter-Agent günstigeres Modell zu Fakten verdichten Fakten-Datenbank Protokoll-Datenbank Werkzeuge (Tools) Termin buchen · CRM schreiben Zahlung prüfen · Daten abrufen Tool-Aufruf Ergebnis LOOP Guardrails Abbruchregeln HARNESS das Geschirr um das Modell LLM OPS beobachten, bewerten, verbessern Trace eine Spur pro Lauf Eval — war es gut? Modell als Prüfer Observe — gesund? Zeit, Kosten, Fehler Diagnose wo und warum kaputt? Reicht ein Fix an Prompt und Konfiguration? Gate ja: kleiner Fix Release neuer Prompt-Stand, Modell, Tools, Top-k nein: Fehler beheben, Lauf wiederholen in den Harness

Glossar 1 von 2 — der Durchlauf

  • Agent Run — ein Durchlauf von der Frage bis zur Antwort
  • System-Prompt — die Grundanweisung, die bei jedem Durchlauf mitgeht
  • Kontext-Fenster — der Schreibtisch: alles, was das Modell gerade sieht
  • Memory — was den Durchlauf überlebt: prozedural, semantisch, episodisch
  • Skills — Anweisungsdateien, das prozedurale Gedächtnis
  • Vektor-Datenbank — sucht nach Ähnlichkeit statt nach dem exakten Wort

Glossar 2 von 2 — Steuerung und Betrieb

  • RAG — erst die passende Stelle suchen, dann antworten
  • Tool Calling — das Modell ruft gezielt ein Werkzeug auf
  • Loop — mehrere Schritte hintereinander, bis die Aufgabe erledigt ist
  • Guardrails — die Regeln, die den Loop beenden oder anhalten
  • Verdichter — fasst alte Gespräche regelmäßig zu Fakten zusammen
  • Harness — alles um das Modell herum, damit es verlässlich arbeitet
  • Trace — die mitgeschriebene Spur eines einzelnen Laufs
  • Eval — die Bewertung: war die Antwort gut?
  • LLM Ops — der Betrieb: mitschreiben, bewerten, verbessern
Was das für Ihre Arbeit bedeutet
Das Modell ist der austauschbare Teil. Es wird alle paar Monate besser, und es wird ausgetauscht. Was bleibt, sind die Gedächtnisse, die Werkzeuganbindungen, die Leitplanken und die Messung: der Harness. Und genau dort steckt das Wissen aus Ihrer Abteilung.
  • Wenn bei Ihnen ein Agent eingeführt wird: fragen Sie, an welcher Stelle Sie entscheiden
  • Fragen Sie, was gemessen wird und wer die Ergebnisse zu sehen bekommt
  • Trace und Eval machen die Qualität messbar
  • Schlagen Sie den Prozess vor, den Sie selbst beurteilen können
skillbyte · KI für den Mittelstand

Sprechen wir darüber.

skillbyte.de