Lokale KI vs. API: ab wann sich eigene Hardware rechnet

Das Lastprofil zuerst, dann die Rechnung

Ohne Mengengerüst ist jede Kostenaussage beliebig. Das Profil eines Mittelständlers dieser Größe sieht so aus: 80 Beschäftigte nutzen den Assistenten, jeder stellt im Schnitt 15 Anfragen am Arbeitstag, jede Anfrage bewegt rund 4.000 Token inklusive Kontext und Antwort. Das ergibt 4,8 Millionen Token je Arbeitstag und bei 21 Arbeitstagen rund 100 Millionen Token im Monat.

Die zweite Größe ist die Aufteilung. In Assistenzanwendungen mit Dokumentenkontext entfallen typischerweise vier Fünftel der Token auf die Eingabe und ein Fünftel auf die Ausgabe. Das zählt, weil Ausgabetoken bei praktisch jedem Anbieter das Drei- bis Sechsfache der Eingabetoken kosten. Beide Zahlen stehen in den Protokollen des Piloten und sollten dort abgelesen und nicht geschätzt werden.

Was eigene Hardware im Monat kostet

Gerechnet wird ein Server mit einer 48-GB-Karte, der Klasse, die im Mittelstand den Einstieg in den Mehrbenutzerbetrieb bildet. Drei Posten bestimmen die monatlichen Kosten, und alle drei fallen unabhängig davon an, wie stark die Karte genutzt wird.

• Abschreibung, rund 555 Euro. Die Karte allein liegt bei rund 9.300 Euro, der komplette Server mit Prozessor, Arbeitsspeicher und redundanter Stromversorgung bei etwa 20.000 Euro netto, verteilt auf drei Jahre.
• Strom und Kühlung, rund 115 Euro. Bei 0,7 kW im Dauerbetrieb sind das 504 kWh im Monat. Zum Durchschnittspreis von 17,2 ct/kWh für kleine und mittlere Industriebetriebe im Jahr 2026 ergibt das 87 Euro, plus 30 bis 50 Prozent Aufschlag für die Kühlung.
• Betrieb, rund 700 Euro. Ein Personentag im Monat für Updates, Überwachung, Modellwechsel und Störungen, bewertet mit einem internen Tagessatz von 700 Euro. Wer Bereitschaft außerhalb der Geschäftszeiten zusagt, rechnet mehr.

Zusammen rund 1.370 Euro im Monat. Diese Summe fällt bei fünf Prozent Auslastung genauso an wie bei achtzig. Damit ist der Preis je Token allein eine Frage der Nutzung: Wer die Karte gut auslastet, drückt ihn, wer sie stehen lässt, zahlt für Leerlauf.

Was dieselbe Menge über eine Schnittstelle kostet

Der Mischpreis je Million Token ergibt sich aus vier Fünfteln Eingabepreis und einem Fünftel Ausgabepreis. Für drei Preisklassen, wie sie im August 2026 am Markt zu finden sind, sieht das bei 100 Millionen Token im Monat so aus.

• Günstige offene Modelle (etwa 0,15 US-Dollar Eingabe, 0,60 Ausgabe je Million): 0,24 US-Dollar je Million Token, also rund 22 Euro im Monat.
• Mittelklasse (etwa 2 US-Dollar Eingabe, 12 Ausgabe): 4,00 US-Dollar je Million Token, also rund 370 Euro im Monat.
• Spitzenmodelle (etwa 5 US-Dollar Eingabe, 30 Ausgabe): 10,00 US-Dollar je Million Token, also rund 925 Euro im Monat.

Bei diesem Lastprofil liegt die eigene Hardware in allen drei Fällen darüber. Interessant wird deshalb die Umkehrung: Ab welcher Menge erreicht die Schnittstelle die 1.370 Euro der eigenen Karte.

Gegen ein Spitzenmodell liegt der Gleichstand bei rund 148 Millionen Token im Monat, also beim Anderthalbfachen des oben gerechneten Profils. Diese Menge erreicht ein Betrieb mit 120 aktiven Nutzern. Gegen die Mittelklasse liegt er bei rund 370 Millionen Token, was einem breiten Rollout über mehrere Abteilungen entspricht. Gegen die günstigen offenen Modelle wären rund 6,2 Milliarden Token im Monat nötig, das Zweiundsechzigfache des Profils, und damit außer Reichweite jedes Industriebetriebs dieser Größe.

Was die Rechnung in beide Richtungen verschiebt

Vier Faktoren verändern das Ergebnis stärker als der Kaufpreis der Karte, und sie werden in Angeboten selten beziffert.

• Auslastung. Die Fixkosten laufen rund um die Uhr, die Nutzung im Zweischichtbetrieb nicht. Eine Karte, die nur werktags zwischen acht und siebzehn Uhr arbeitet, steht drei Viertel der Zeit still.
• Stapelverarbeitung. Anbieter geben auf Anfragen ohne Zeitdruck pauschal 50 Prozent Rabatt. Wer Dokumente nachts verarbeitet, halbiert seine API-Kosten und verschiebt den Gleichstand entsprechend nach oben.
• Redundanz. Eine Karte bedeutet einen einzelnen Ausfallpunkt. Wer den Assistenten in einen Prozess einbindet, braucht eine zweite Karte oder einen Ausweichpfad über eine Schnittstelle. Das verdoppelt entweder die Fixkosten oder macht die Rechnung zu einer Mischrechnung.
• Modellwechsel. Über eine Schnittstelle ist ein neues Modell eine Konfigurationsänderung. Eigene Hardware ist auf ihre Speicherklasse festgelegt, und das nächste starke Modell passt womöglich nicht mehr darauf.

Was die Rechnung nicht beantwortet

Bei realistischen Mengen im Mittelstand gewinnt die Schnittstelle die reine Tokenrechnung fast immer. Wer trotzdem eigene Hardware anschafft, kauft etwas anderes: Daten, die das Haus nicht verlassen, Kosten, die nicht mit dem Nutzungsverhalten schwanken, und Unabhängigkeit von Entscheidungen eines Anbieters über Verfügbarkeit und Preis. Ob das den Aufschlag wert ist, ist eine Frage der Betriebsform und keine Frage des Rechenblatts; die Optionen stehen in Datenhoheit bei KI.

Die Rechnung sagt außerdem nichts darüber, ob die Karte das gewünschte Modell überhaupt trägt: Das klärt die VRAM-Rechnung. Und sie ersetzt keine Betrachtung der Gesamtkosten über den Lebenszyklus, wie sie KI-Kosten im Griff behalten beschreibt. Die Preise je Million Token schließlich ändern sich mehrmals im Jahr, weshalb die Rechnung ein Datum tragen sollte.

Was Sie diese Woche tun können

• Lesen Sie aus den Protokollen des Piloten drei Zahlen ab: Token je Monat, Aufteilung zwischen Eingabe und Ausgabe, und die Verteilung über den Tag. Ohne diese drei ist die Rechnung nicht belastbar.
• Legen Sie fest, welche Preisklasse Sie tatsächlich ersetzen würden. Der Gleichstand verschiebt sich zwischen den Klassen um das Vierzigfache, deshalb ist diese Festlegung die wichtigste Stellschraube der ganzen Rechnung.
• Rechnen Sie die Fixkosten Ihrer Hardware ehrlich: Abschreibung, Strom mit Ihrem Arbeitspreis, Kühlung, und die Personentage für Betrieb und Bereitschaft.
• Prüfen Sie, welcher Anteil Ihrer Last zeitunkritisch ist. Was über Nacht laufen darf, kostet über eine Schnittstelle die Hälfte.

Eine Rechnung mit gemessenen Zahlen ist in einem halben Tag fertig und trägt drei Jahre. Ein Serverkauf, der auf einem geschätzten Lastprofil beruht, bindet dieselben drei Jahre ohne diese Grundlage.