Um die Skripte im Repository gpt-oss-recipes zu verwenden, müssen Sie zunächst die folgenden Installations- und Einrichtungsschritte durchführen:
- Klon-Lager: Führen Sie es im Terminal aus
git clone https://github.com/huggingface/gpt-oss-recipes.git
und wechseln Sie dann in das Repository-Verzeichnis. - Erstellen einer virtuellen UmgebungPython 3.11 wird empfohlen, ebenso wie
uv
um eine virtuelle Umgebung zu erstellen, mit dem Befehluv venv gpt-oss --python 3.11
und aktiviert. - Installation von Abhängigkeiten: Lauf
uv pip install
werden die erforderlichen Pakete wie PyTorch, Transformers usw. installiert. - Optionale Installation des Triton-KernelsWenn die Hardware die MXFP4-Quantisierung unterstützt (z. B. H100 oder RTX 50xx), kann der Triton-Kernel installiert werden, um die Leistung zu optimieren.
Diese Schritte gewährleisten die Umweltverträglichkeit und die Funktionalität, die für die anschließende Modellinferenz und Feinabstimmung geeignet ist.
Diese Antwort stammt aus dem ArtikelSammlung von Skripten und Tutorials zur Feinabstimmung von OpenAI GPT OSS ModellenDie