Lokaler Einsatz GLM-4.5V muss erfüllt werden:
- Hardware:Leistungsstarke NVIDIA-GPUs (z. B. A100/H100) mit großem Videospeicher zur Unterstützung der Modellläufe.
- Abhängige Installation:vollziehen
pip install transformers torch accelerate PillowInstallieren Sie die erforderlichen Bibliotheken.
Schritte für die Bereitstellung:
- Modelle von Hugging Face Hub herunterladen
zai-org/GLM-4.5V. - ausnutzen
AutoProcessorim Gesang antwortenAutoModelForCausalLMLaden Sie das Modell, setzen Sie aufeval()Modus und die Migration zur GPU. - Kombinieren Sie Bilder und Texteingabeaufforderungen als Eingaben über die
apply_chat_templateVerarbeitung, eingehende Modelle erzeugen Antworten. - Passen Sie die Generierungsparameter an (z. B.
max_new_tokensundtemperature) steuern den Ausgangseffekt.
Diese Antwort stammt aus dem ArtikelGLM-4.5V: Ein multimodales Dialogmodell, das Bilder und Videos versteht und Code erzeugtDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Was sind die Hardwareanforderungen für den lokalen Einsatz von GLM-4.5V? Wie wird es implementiert?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil