As etapas a seguir são necessárias para instalar e executar o modelo GPT-OSS:
- Baixe os pesos do modelo: da plataforma Hugging Face por meio do huggingface-cli, por exemplo:
huggingface-cli download openai/gpt-oss-120b --include 'original/*' --local-dir gpt-oss-120b/ - Configure seu ambiente Python: é recomendável que você crie um ambiente virtual usando o Python 3.12 e instale os transformadores, o accelerate e as dependências do torch.
- Execução de modelos: podem ser executados de várias maneiras, incluindo implementações de Transformers, implementações de vLLM, implementações de Ollama e assim por diante. Por exemplo, use Transformers para carregar o modelo:
pipe = pipeline('text-generation', model='openai/gpt-oss-20b', torch_dtype='auto', device_map='auto')
Observe que o formato Harmony deve ser usado ou o modelo não funcionará corretamente. Para dispositivos Apple Silicon, os pesos também precisam ser convertidos para o formato Metal.
Essa resposta foi extraída do artigoGPT-OSS: Grande modelo de código aberto da OpenAI para raciocínio eficienteO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como faço para instalar e executar o modelo GPT-OSS?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch