Bonsai verwendet eine innovative ternäre Gewichtungstechnik, die die Gewichtswerte auf die Zustände -1, 0 und +1 beschränkt. Im Vergleich zum herkömmlichen 32-Bit-Gleitkommamodell hat das Modell mit ternären Gewichten erhebliche Vorteile: Das Modellvolumen wird um mehr als 80% reduziert, der Speicherbedarf wird erheblich verringert, die Berechnungskomplexität wird reduziert und das Energieeffizienzverhältnis wird verbessert.
In der Praxis kann Bonsai auf gewöhnlichen CPUs mit einem Minimum von nur 16-Bit-Präzisionsunterstützung effizient laufen. Tests zeigen, dass das Modell problemlos auf Endgeräten wie Mobiltelefonen und Raspberry Pi läuft. Auch wenn Grafikprozessoren die Leistung weiter steigern können, sind sie nicht erforderlich, so dass Bonsai ideal für den Einsatz in ressourcenbeschränkten eingebetteten Umgebungen ist. Entwickler können es problemlos in IoT-Geräte und mobile Anwendungen integrieren und lokalisierte Funktionen zur Verarbeitung natürlicher Sprache implementieren.
Diese Antwort stammt aus dem ArtikelBonsai: Ein dreiwertiges gewichtetes Sprachmodell, das für den Einsatz auf Randgeräten geeignet istDie
