Die Schritte zur Durchführung der Modellinferenz in gpt-oss-recipes sind wie folgt:
- Lademodelle und Splitter: Verwendung
AutoModelForCausalLMim Gesang antwortenAutoTokenizerLaden Sie das angegebene Modell (z. B.openai/gpt-oss-20b). - EingabeaufforderungBenutzer-Meldungen definieren (z.B.
"如何用Python写一个排序算法？"), und durchapply_chat_templateMethode, um die Eingabe zu verarbeiten. - Ergebnisse generieren: Anruf
model.generateMethode erzeugt die Antwort und dekodiert die Ausgabe mit einem Splitter. - Anpassung der Inferenzparameter (optional): Der Detaillierungsgrad der Argumentation kann durch Systemaufforderungen angepasst werden, z. B. durch Setzen des Parameters
"Reasoning: high"um einen detaillierteren Argumentationsprozess zu entwickeln.
Die Beispielskripte für die Argumentation befinden sich normalerweise im Verzeichnisinference.pyDatei, gibt das Modell nach der Ausführung die generierten Ergebnisse zurück.
Diese Antwort stammt aus dem ArtikelSammlung von Skripten und Tutorials zur Feinabstimmung von OpenAI GPT OSS ModellenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie führt man die Modellinferenz in gpt-oss-recipes aus?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil