As etapas para executar a inferência de modelo no gpt-oss-recipes são as seguintes:
- Modelos de carregamento e divisores: Uso
AutoModelForCausalLMresponder cantandoAutoTokenizerCarregue o modelo especificado (por exemploopenai/gpt-oss-20b). - prompt de entradaDefinir mensagens do usuário (por exemplo
"如何用Python写一个排序算法？"), e por meio deapply_chat_templatepara processar a entrada. - Gerar resultados: Chamada
model.generategera a resposta e decodifica a saída usando um divisor. - Ajuste dos parâmetros de inferência (opcional)O nível de detalhe do raciocínio pode ser ajustado pelos prompts do sistema, por exemplo, definindo a opção
"Reasoning: high"para gerar um processo de raciocínio mais detalhado.
Os scripts de exemplo de raciocínio geralmente estão localizados no diretórioinference.pyo modelo retornará os resultados gerados após a execução.
Essa resposta foi extraída do artigoColeção de scripts e tutoriais para ajuste fino dos modelos OpenAI GPT OSSO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como executar a inferência de modelo no gpt-oss-recipes?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch