Die empfohlene Hardwarekonfiguration für Step3 sind 4 A800/H800-Grafikprozessoren mit 80 GB Videospeicher für optimale Leistung. Es kann jedoch auch in einer Umgebung mit nur einem Grafikprozessor ausgeführt werden, aber die Inferenz wird dann relativ langsam sein.
Modellgewichte werden sowohl im bf16- als auch im block-fp8-Format bereitgestellt, wobei letzteres den Videospeicherbedarf reduziert und die Ausführung des Modells auf ressourcenbeschränkter Hardware ermöglicht. Die Entwickler können das geeignete Gewichtungsformat je nach ihren Hardware-Bedingungen wählen.
Für den Einsatz in der Produktion wird eine Multi-GPU-Konfiguration empfohlen, um den Durchsatz und die Reaktionsfähigkeit zu verbessern. Für Entwicklungs- oder Testzwecke kann auch eine Einzel-GPU-Umgebung die grundlegenden Anforderungen erfüllen.
Diese Antwort stammt aus dem ArtikelSchritt 3: Effiziente Generierung von quelloffenen Makromodellen für multimodale InhalteDie
Deutsch 
简体中文 
English 
日本語 
Português do Brasil