Schritt-für-Schritt-Anleitung zur mehrsprachigen Feinabstimmung
Die folgenden Schritte sind erforderlich, um eine mehrsprachige Argumentation zu implementieren:
- Vorbereitung der DatenHuggingFace: Laden des mehrsprachigen Datensatzes (
load_dataset('HuggingFaceH4/Multilingual-Thinking')), enthält der Datensatz englische/spanische/französische Sprachproben - LoRA-Konfiguration: Einstellungen
LoraConfig(r=8, lora_alpha=32)Spezifizieren Sie Adapter-Parameter, um sich auf die Abstimmung zu konzentrierenq_projim Gesang antwortenv_projProjektionsebene (beim perspektivischen Zeichnen) - Modellbeladung: Verwendung
PeftModelVerpackung des ursprünglichen Modells, wobei die Parameter des 95% eingefroren bleiben und nur die Anpassungsschicht fein abgestimmt wird - Kontrolle der Ausbildung: Von TRL-Bibliothek eingestellt
max_seq_length=2048im Gesang antwortenbatch_size=4Die Verwendung von Gradientenprüfpunkten spart Videospeicher. - Sprache Bezeichnung: bei der Argumentation zur Systemaufforderung hinzufügen
'Reasoning language: Spanish'isometrische Anweisung
Ein vollständiges Beispiel finden Sie im Repositoryfinetune.ipynbDer gesamte Prozess dauert etwa 6 Stunden auf einer einzigen 24-GB-GPU.
Diese Antwort stammt aus dem ArtikelSammlung von Skripten und Tutorials zur Feinabstimmung von OpenAI GPT OSS ModellenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann eine Feinabstimmung der mehrsprachigen Argumentationsfähigkeiten für das gpt-oss-20b-Modell erreicht werden?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil