Quantisierung: was 4 Bit an Genauigkeit kosten

Was Quantisierung mit einem Modell macht

Ein Sprachmodell besteht aus Milliarden Zahlen. Im Ausgangsformat belegt jede davon 16 Bit. Quantisierung rundet diese Zahlen auf ein gröberes Raster: 8 Bit halbieren den Speicher, 4 Bit vierteln ihn. Das Modell bleibt dasselbe, die Auflösung seiner Parameter sinkt.

Der Vergleich aus der Werkstatt trägt weit. Ein Messschieber löst auf einhundertstel Millimeter auf, ein Mikrometer auf tausendstel. Für die Kontrolle einer Rohteillänge reicht der Messschieber. Bei einer Passung, in die drei Toleranzen hineinlaufen, addieren sich die Rundungsfehler und das Ergebnis kippt. Genauso verhält sich ein quantisiertes Modell: unauffällig bei einfachen Aufgaben, empfindlich dort, wo viele Zwischenschritte aufeinander aufbauen.

Die guten Verfahren runden deshalb nicht überall gleich stark. Die verbreiteten K-Quants mischen 4-Bit- und 6-Bit-Schichten und lassen die empfindlichen Stellen genauer. Aktivierungsbewusste Verfahren wie AWQ bestimmen vorab, welche Gewichte für die Ausgabe besonders wichtig sind, und schonen diese. Das Verfahren zählt also mit, nicht allein die Bitzahl im Dateinamen.

Wie groß der Genauigkeitsverlust wirklich ist

Die umfangreichste öffentliche Messreihe dazu stammt von Neural Magic („Give Me BF16 or Give Me Death?", begutachtet auf der ACL 2025): über 500.000 Auswertungen über die gesamte Llama-3.1-Familie, auf akademischen Benchmarks und auf praxisnahen Aufgaben. Drei Befunde sind für den Betrieb entscheidend.

• FP8 ist praktisch verlustfrei. Über alle geprüften Modellgrößen hinweg fand die Studie im Mittel keinen belastbaren Qualitätsunterschied zum Ausgangsformat, bei halbiertem Speicher. Einzelne Aufgaben geben dabei um 0,1 bis 1,4 Punkte nach: In Messungen von NVIDIA fällt Llama-3.1-70B auf GSM8K von 95,3 auf 94,3. Der Befund gilt für den Durchschnitt und nicht für jede Einzelmessung.
• Gut eingestelltes 8-Bit-Integer verliert 1 bis 3 Prozent. Ein Wert, der für Zusammenfassung, Klassifikation und Textextraktion im Betrieb nicht auffällt.
• 4-Bit-Gewichtsquantisierung liegt näher an 8 Bit als erwartet. Sie schneidet in der Studie besser ab, als ihr Ruf vermuten lässt, bleibt aber das Format mit dem größten Abstand zum Original.

Messreihen aus der llama.cpp-Gemeinschaft kommen zum selben Bild. Das gemischte Format Q4_K_M hält je nach Modell 97 bis 99 Prozent der Ausgangsqualität, mit einem Perplexitätsabstand von etwa 0,1 bis 0,15 zum 16-Bit-Original. Die naive 4-Bit-Variante Q4_0 liegt bei etwa 0,50 und damit deutlich schlechter, bei praktisch gleicher Dateigröße. Wer quantisiert, sollte deshalb auf das Verfahren achten und nicht nur auf die Zahl hinter dem Q.

Wo der Verlust im Betrieb sichtbar wird

Die Durchschnittswerte verdecken, dass sich der Verlust ungleich verteilt. Zusammenfassen, Klassifizieren, Textbausteine erzeugen und Felder aus Dokumenten ziehen laufen auch in 4 Bit stabil. Sichtbar wird der Abstand bei mehrstufigem Schließen und beim Rechnen: eine Stückliste über mehrere Ebenen auflösen, Toleranzketten prüfen, Zahlen aus einer Tabelle in eine Kalkulation überführen. Dort schlagen Rundungsfehler durch, weil jeder Schritt auf dem vorigen aufbaut.

Die zweite Regelmäßigkeit ist für die Modellwahl wichtiger als jede Formatdiskussion: Große Modelle vertragen aggressive Quantisierung besser als kleine. Ein Modell mit 70 Milliarden Parametern verliert bei 4 Bit weniger als ein Modell mit 1,5 Milliarden beim selben Format. Bei gleichem Speicherbudget liefert deshalb meist das große Modell im kleinen Format die besseren Antworten.

Die dritte Beobachtung mahnt zur Vorsicht: Wo genau die Qualität abfällt, unterscheidet sich zwischen Modellfamilien. Eine pauschale Empfehlung für 4 Bit greift zu kurz, weil manche Familien dort früher einbrechen als andere. Das lässt sich nur mit dem eigenen Testsatz feststellen.

Welches Format für welche Karte

Die Formatwahl hängt an der vorhandenen Hardware. FP8 wird erst ab der Hopper-Generation und darüber in Hardware unterstützt, also auf H100, L40S, den Blackwell-Karten und ihren Nachfolgern. Auf älteren Karten bleibt es aus, dort führen INT8 und die 4-Bit-Verfahren wie AWQ oder GPTQ zum Ziel, die auf einer deutlich breiteren Palette laufen.

Zum Speichergewinn kommt Tempo. Veröffentlichte Messungen mit vLLM auf H100 zeigen für FP8 bei Einzelanfragen den 1,4- bis 1,7-fachen Durchsatz gegenüber 16 Bit, bei halbiertem Speicher. 4-Bit-Verfahren senken den Speicher um drei Viertel und erkaufen das mit dem größeren Qualitätsabstand.

Was Quantisierung nicht löst

Ein Modell, das die Aufgabe inhaltlich nicht beherrscht, wird durch ein größeres Zahlenformat nicht besser. Quantisierung verschiebt allein den Kompromiss zwischen Speicher und Genauigkeit; welches Modell überhaupt taugt, entscheidet ein Test mit eigenen Daten, wie in KI-Modelle mit eigenen Daten testen beschrieben. Öffentliche Ranglisten helfen dabei begrenzt, was KI-Benchmarks richtig bewerten einordnet.

An der Lizenz ändert das Format ebenfalls nichts: Eine 4-Bit-Fassung eines Modells unterliegt derselben Lizenz wie das Original, samt geografischer Einschränkungen (vier Lizenzklauseln vor dem Einsatz). Und die Speicherrechnung bleibt nötig, weil der Kontextspeicher unabhängig vom Gewichtsformat wächst: die VRAM-Rechnung steht am Anfang, die Formatwahl kommt danach.

Was Sie diese Woche tun können

• Legen Sie einen Testsatz aus 30 bis 50 echten Fällen Ihres Anwendungsfalls an, mit den erwarteten Antworten. Ohne diesen Satz lässt sich kein Format vergleichen.
• Fahren Sie denselben Modellstand in zwei Formaten und lassen Sie den Testsatz gegen beide laufen. Der Unterschied zeigt sich bei den rechen- und schlussfolgerungslastigen Fällen zuerst.
• Prüfen Sie, welche Formate Ihre Karten in Hardware unterstützen, bevor Sie ein Format festlegen. FP8 setzt die Hopper-Generation oder neuer voraus.
• Vergleichen Sie bei gleichem Speicherbudget auch über die Modellgröße hinweg: das große Modell in 4 Bit gegen das kleine in 16 Bit. Diese Gegenüberstellung fällt oft anders aus als erwartet.

Der Aufwand für diesen Vergleich liegt bei einem halben Tag. Er ersetzt eine Diskussion über Formate, die sonst monatelang ohne Datenbasis geführt wird.