TurboQuant : comprimer le cache KV des modèles d’IA

Réduire la mémoire utilisée par l’IA

Le 24 mars 2026, Google Research a présenté TurboQuant, une méthode de compression de vecteurs. Elle vise notamment le cache clé-valeur (KV) utilisé lors de l’inférence des modèles de langage et les index de recherche vectorielle.

De la quantification, pas un coprocesseur quantique

La méthode combine des techniques de quantification, dont PolarQuant et une correction d’erreur fondée sur QJL. Il s’agit de représenter les données avec moins de bits. La publication ne décrit ni ordinateur ni coprocesseur quantique.

Une piste pour l’infrastructure

Réduire la mémoire du cache KV peut aider à servir les modèles plus efficacement. Les résultats présentés par Google concernent ses expériences ; leur intérêt pour une infrastructure donnée doit être évalué sur les modèles, le matériel et les charges réellement utilisés.

Source : publication Google Research du 24 mars 2026.