TurboQuant: den KV-Cache von KI-Modellen komprimieren
Den Speicherbedarf der KI reduzieren
Am 24. März 2026 stellte Google Research TurboQuant vor, ein Verfahren zur Kompression von Vektoren. Zu den Anwendungen gehören der Schlüssel-Wert-Cache (KV-Cache) bei der Inferenz von Sprachmodellen sowie Indizes für die Vektorsuche.
Quantisierung statt Quanten-Koprozessor
Das Verfahren kombiniert Quantisierungstechniken, darunter PolarQuant und eine auf QJL basierende Fehlerkorrektur. Daten werden dabei mit weniger Bits dargestellt. Die Veröffentlichung beschreibt weder einen Quantencomputer noch einen Quanten-Koprozessor.
Ein Forschungsansatz für die Infrastruktur
Ein kleinerer KV-Cache kann helfen, Modelle effizienter bereitzustellen. Die von Google berichteten Ergebnisse beziehen sich auf die eigenen Experimente. Der Nutzen für eine konkrete Infrastruktur muss mit den tatsächlich eingesetzten Modellen, der Hardware und den Arbeitslasten gemessen werden.