Die Bereitstellung des Bonsai-Modells ist in zwei Phasen unterteilt: Vorbereitung der Umgebung und Aufruf zur Laufzeit:
Umweltgebäude
- Python 3.8+ Umgebungsüberprüfung: Terminalausführung
python --version - Installieren Sie die Hauptabhängigkeiten:
pip install transformers torch datasets - Empfehlung zur GPU-Beschleunigung: über
torch.cuda.is_available()Erkennung der CUDA Unterstützung
Modellanruf
Dreistufiger Betrieb über die Huggingface Transformers-Bibliothek:
- Komponenten laden::
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("deepgrove/Bonsai")
model = AutoModelForCausalLM.from_pretrained("deepgrove/Bonsai") - Textgenerierung: Einstellungen
max_lengthim Gesang antwortentemperatureParametrischer Steuerausgang - Ergebnis Dekodierung: Verwendung von
tokenizer.decode()Tensor in lesbaren Text umwandeln
Hinweis: Beim ersten Durchlauf werden automatisch etwa 600 MB an Modelldateien von Huggingface heruntergeladen. Es wird daher empfohlen, die Internetverbindung offen zu halten.
Diese Antwort stammt aus dem ArtikelBonsai: Ein dreiwertiges gewichtetes Sprachmodell, das für den Einsatz auf Randgeräten geeignet istDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann ich ein Bonsai-Modell auf meinen eigenen Geräten laufen lassen?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil