As etapas para ajustar o modelo no gpt-oss-recipes são as seguintes:
- Baixar conjunto de dados: Uso
load_datasetCarregando um conjunto de dados de inferência multilíngue (como oHuggingFaceH4/Multilingual-Thinking). - Configuração de parâmetros LoRA: Definições
LoraConfig(por exemplor=8responder cantandotarget_modules=["q_proj", "v_proj"]). - Modelos de carregamento: através de
AutoModelForCausalLMCarregue o modelo básico e aplique a configuração LoRA. - ajuste finoUso de bibliotecas TRL (como a biblioteca
finetune.ipynb(Exemplo) Concluir o treinamento. - Salvar o modeloModelos ajustados podem ser salvos e usados para tarefas específicas (por exemplo, raciocínio multilíngue).
Esse método, combinado com a tecnologia LoRA, reduz significativamente os requisitos de memória gráfica e é adequado para o ajuste fino eficiente de modelos grandes em hardware limitado.
Essa resposta foi extraída do artigoColeção de scripts e tutoriais para ajuste fino dos modelos OpenAI GPT OSSO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como fazer o ajuste fino dos modelos no gpt-oss-recipes?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch