Microsoft Research präsentiert BitNet 1.58: Die 1-Bit-Revolution

Die Ära der 1-Bit-LLMs

Fast zeitgleich mit der Ankündigung von Google veröffentlichte Microsoft Research seine Arbeit an BitNet 1.58. Das Konzept ist ebenso einfach wie revolutionär: Anstatt Gleitkommaparameter (16-Bit oder 8-Bit) zu verwenden, nutzt BitNet nur drei Zustände für seine Gewichte: -1, 0 und 1 (etwa 1,58 Bit pro Parameter).

Warum ist das wichtig?

Indem BitNet 1.58 die meisten Multiplikationsoperationen durch einfache Additionen ersetzt, reduziert es den Speicher- und Energieverbrauch drastisch und behält gleichzeitig eine Leistung bei, die mit klassischen Modellen der gleichen Größe vergleichbar ist.

Edge AI und Gaming

Diese Architektur ebnet den Weg, um ultra-leistungsstarke Sprachmodelle direkt auf Verbrauchergeräten (Smartphones, Konsolen) auszuführen. Im Kontext von Vibe Hosting und Novoid könnte die Ankunft von Modellen wie BitNet es ermöglichen, hochleistungsfähige lokale KIs einzusetzen, ohne sündhaft teure GPU-Cluster zu benötigen.