Die Modelle der GLM-4.5-Serie haben unterschiedliche Hardwareanforderungen:
- GLM-4.5-Luft (Lite)16 GB GPU-Speicher erforderlich (INT4 quantifiziert auf ~12 GB), CPUs mit 32 GB RAM können auch laufen, aber weniger effizient
- Vollversion GLM-4.5Empfohlen für Multi-GPU-Umgebungen, erfordert etwa 32 GB Videospeicher
- Allgemeine AnforderungenErfordert CUDA 11.8+ GPU-Treiber, Python 3.8+ Umgebung
Für den Einsatz in der Cloud wird empfohlen, das vLLM-Service-Framework zu verwenden, dessen Kompilierung länger dauern kann. Entwickler können auch die von Hugging Face bereitgestellte vorkompilierte Version wählen, um den Aufwand für die Bereitstellung zu verringern.
Diese Antwort stammt aus dem ArtikelGLM-4.5: Open Source Multimodale Großmodelle zur Unterstützung intelligenter Schlussfolgerungen und CodegenerierungDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Was sind die Hardware-Anforderungen für GLM-4.5?
