VRAM-Rechnung: welche GPU für welches KI-Modell

Woraus sich der Speicherbedarf zusammensetzt

Drei Posten teilen sich den Speicher einer Grafikkarte: die Modellgewichte, der Kontextspeicher (in der Fachsprache KV-Cache) und der Overhead der Laufzeitumgebung. Die Gewichte sind der größte Posten und der einzige, der feststeht, sobald Modell und Zahlenformat gewählt sind.

Die Rechnung dafür ist eine Multiplikation. Jeder Parameter belegt so viele Bytes, wie das Zahlenformat vorgibt: 2 Byte bei 16 Bit (FP16 oder BF16), 1 Byte bei 8 Bit, 0,5 Byte bei 4 Bit. Als Faustregel: 2 GB VRAM je Milliarde Parameter im Ausgangsformat, die Hälfte bei 8 Bit, ein Viertel bei 4 Bit.

Ein Modell mit 32 Milliarden Parametern belegt damit rund 64 GB in 16 Bit und rund 16 GB in 4 Bit. Ein Modell mit 70 Milliarden Parametern liegt bei etwa 140 GB in 16 Bit, und im Produktivbetrieb überschreitet der Gesamtbedarf mit Kontextspeicher und Overhead die 200 GB. Die Entscheidung über die Zahl der Karten fällt damit, bevor über Feinheiten des Modells gesprochen wird.

Auf die Summe aus Gewichten und Kontextspeicher kommen 15 bis 20 Prozent für Aktivierungen, Fragmentierung und die Laufzeitumgebung. Eine Karte, die rechnerisch gerade so passt, fällt im Betrieb unter Last aus.

Warum der Kontext die zweite Hälfte der Rechnung ist

Der Kontextspeicher hält die Zwischenergebnisse zu allen bereits gelesenen Token. Er wächst linear mit der Kontextlänge und noch einmal mit jeder gleichzeitigen Anfrage. Ein Modell mit 7 Milliarden Parametern braucht bei 4.000 Token Kontext etwa 0,3 GB zusätzlich, bei 32.000 Token rund 2,5 GB und bei 128.000 Token rund 10 GB, und zwar je laufender Anfrage.

Bei großen Modellen wird daraus der dominierende Posten. Llama 3 70B belegt bei 128.000 Token Kontext etwa 40 GB, weil das Modell Grouped Query Attention nutzt und sich 64 Abfrageköpfe acht Schlüssel-Wert-Köpfe teilen. Ohne diese Technik wären es rund 320 GB. Die Modellarchitektur entscheidet also mit, nicht allein die Parameterzahl.

Der Multiplikator im Alltag ist die Zahl gleichzeitiger Nutzer. Acht Sachbearbeiter, die parallel je ein langes Dokument prüfen lassen, belegen den Kontextspeicher acht Mal. Vor die Beschaffung gehört deshalb eine Messung: wie viele Anfragen zur Spitzenzeit gleichzeitig laufen und wie lang sie im Median sind. Beide Zahlen liegen in den Logs des Piloten.

Was Mixture-of-Experts an der Rechnung ändert

Modelle mit Expertenarchitektur (MoE) aktivieren je Token nur einen Bruchteil ihrer Gewichte. gpt-oss-120b trägt rund 117 Milliarden Parameter und aktiviert je Token etwa 5,1 Milliarden davon. Das senkt den Rechenaufwand. Den Speicherbedarf senkt es nicht, denn alle Experten müssen im Speicher liegen, weil vorher nicht feststeht, welcher gebraucht wird.

Der Gewinn liegt im Tempo. Ein solches Modell antwortet ungefähr so flott wie ein deutlich kleineres dichtes Modell und liefert die Qualität eines größeren. Im 4-Bit-Format MXFP4 belegt gpt-oss-120b rund 60 bis 65 GB und passt damit auf eine einzelne 80-GB-Karte. Für Betriebe, die ein starkes Modell auf einer Karte betreiben wollen, ist das derzeit die interessanteste Bauform.

Welche Karte für welche Modellklasse

Drei Klassen decken den Bereich ab, in dem sich Industriebetriebe bewegen. Sie unterscheiden sich weniger im Tempo als im Speicher, und der Speicher entscheidet, welches Modell überhaupt startet.

• 32 GB (GeForce RTX 5090, rund 2.000 US-Dollar). Trägt Modelle bis etwa 32 Milliarden Parameter in 4 Bit, mit knappem Kontext. Für einen Einzelarbeitsplatz oder einen Test ausreichend, für den Mehrbenutzerbetrieb zu klein.
• 48 GB (NVIDIA L40S, ab rund 9.300 Euro laut Preisvergleich im August 2026). Passiv gekühlt, 350 Watt, läuft im gewöhnlichen PCIe-Server ohne Sonderkühlung. Trägt dieselbe Modellklasse mit brauchbarem Kontext für mehrere gleichzeitige Nutzer.
• 96 GB (RTX PRO 6000 Blackwell, rund 7.500 bis 9.200 US-Dollar). Gleicher Grafikchip und gleiche Speicherbandbreite von 1.792 GB/s wie die RTX 5090, dreifacher Speicher. Erst diese Klasse trägt ein 70-Milliarden-Modell in 8 Bit auf einer einzelnen Karte.

Bei kleinen Stapelgrößen liefern RTX 5090 und RTX PRO 6000 nahezu denselben Durchsatz, weil die Inferenz an der Speicherbandbreite hängt und beide dieselbe haben. Der Aufpreis kauft Kapazität und kein Tempo. An dieser Stelle argumentieren Angebote regelmäßig anders, deshalb lohnt die Nachfrage.

Was die VRAM-Rechnung nicht löst

Die Rechnung sagt, ob ein Modell auf eine Karte passt. Sie sagt nichts darüber, wie gut es antwortet, denn das entscheidet ein Test mit den eigenen Daten, beschrieben in KI-Modelle mit eigenen Daten testen. Sie sagt auch nichts darüber, was ein Zahlenformat an Genauigkeit kostet: 4 Bit spart drei Viertel des Speichers und verändert die Antworten messbar, je nach Aufgabe unterschiedlich stark.

Zur Wirtschaftlichkeit schweigt sie ebenfalls. Ob eigene Hardware günstiger ist als eine gemietete Programmierschnittstelle, hängt an der Auslastung und am Vergleichspreis, nicht am Kaufpreis der Karte; die Grundlagen dafür stehen in Token-Preise verstehen. Und sie ersetzt die Lizenzprüfung nicht, die vor jedem Piloten steht: vier Lizenzklauseln vor dem Einsatz.

Was Sie diese Woche tun können

• Ziehen Sie aus den Logs des Piloten zwei Zahlen: gleichzeitige Anfragen zur Spitzenzeit und Kontextlänge im Median. Ohne diese beiden Zahlen ist jede Dimensionierung geraten.
• Rechnen Sie die Gewichte aus: Parameterzahl mal Byte je Parameter im geplanten Zahlenformat. Das ist die Untergrenze, unter der nichts läuft.
• Addieren Sie den Kontextspeicher für die gemessene Spitzenlast und schlagen Sie 20 Prozent Overhead auf. Diese Summe ist die Zahl, die im Angebot stehen muss.
• Lassen Sie sich vom Anbieter bestätigen, dass die genannte Karte das genannte Modell bei dieser Nutzerzahl trägt. Eine Zusage im Angebot kostet nichts und verschiebt die Beweislast.

Wer die Rechnung vor der Bestellung macht, verliert eine halbe Stunde. Wer sie danach macht, hat entweder eine zweite Karte im Budget oder ein Modell, das die Hälfte der Belegschaft nicht gleichzeitig nutzen kann.