Microsoft Research présente BitNet 1.58 : La révolution du 1-bit
L'Ère des LLM 1-bit
Presque simultanément avec l'annonce de Google, Microsoft Research a publié ses travaux sur BitNet 1.58. Le concept est aussi simple que révolutionnaire : au lieu d'utiliser des paramètres en virgule flottante (16-bit ou 8-bit), BitNet n'utilise que trois états pour ses poids : -1, 0 et 1 (soit environ 1.58 bits par paramètre).
Pourquoi c'est important ?
En remplaçant la majorité des opérations de multiplication par de simples additions, BitNet 1.58 réduit drastiquement la consommation de mémoire et d'énergie, tout en maintenant des performances comparables aux modèles classiques de même taille.
L'Edge AI et le Gaming
Cette architecture ouvre la voie à l'exécution de modèles de langage surpuissants directement sur des appareils grand public (smartphones, consoles). Dans le contexte du Vibe Hosting et de Novoid, l'arrivée de modèles comme BitNet pourrait permettre de déployer des IAs locales ultra-performantes sans nécessiter des clusters de GPU hors de prix.