Die folgenden Schritte sind erforderlich, um das GPT-OSS-Modell zu installieren und auszuführen:
- Herunterladen von Modellgewichten: von der Hugging Face-Plattform, z. B. über den huggingface-cli:
huggingface-cli download openai/gpt-oss-120b --include 'original/*' --local-dir gpt-oss-120b/ - Konfigurieren Sie Ihre Python-Umgebung: Es wird empfohlen, eine virtuelle Umgebung mit Python 3.12 zu erstellen und die Abhängigkeiten für Transformers, Accelerate und Torch zu installieren.
- Ausführen von Modellen: Sie können auf verschiedene Arten ausgeführt werden, einschließlich Transformers-Implementierungen, vLLM-Implementierungen, Ollama-Implementierungen usw. Verwenden Sie zum Beispiel Transformers, um das Modell zu laden:
pipe = pipeline('text-generation', model='openai/gpt-oss-20b', torch_dtype='auto', device_map='auto')
Beachten Sie, dass das Harmony-Format verwendet werden muss, sonst funktioniert das Modell nicht richtig. Für Apple Silicon-Geräte müssen die Gewichte auch in das Metal-Format konvertiert werden.
Diese Antwort stammt aus dem ArtikelGPT-OSS: OpenAIs quelloffenes großes Modell für effizientes ReasoningDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie installiere und betreibe ich das GPT-OSS-Modell?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil