O repositório oferece dois modelos:gpt-oss-120b
(parâmetros 117B) egpt-oss-20b
(parâmetros 21B). As condições de hardware precisam ser consideradas ao selecionar um modelo:
- GPUs de alto desempenho (por exemplo, H100)Uso recomendado
gpt-oss-120b
requer pelo menos 80 GB de memória da GPU. - Hardware de nível de consumidor (por exemplo, dispositivos com 16 GB de RAM)Uso recomendado
gpt-oss-20b
A pegada de recursos é baixa.
Isso é feito no script, modificando a variávelmodel_path
Modelos de seleção de variáveis, por exemplo:
model_path = "openai/gpt-oss-20b" # 选择20B模型
# model_path = "openai/gpt-oss-120b" # 选择120B模型
O script configura automaticamente o mapeamento do dispositivo e as configurações de otimização com base no tamanho do modelo.
Essa resposta foi extraída do artigoColeção de scripts e tutoriais para ajuste fino dos modelos OpenAI GPT OSSO