Os requisitos de hardware do projeto dependem principalmente da versão do modelo gpt-oss utilizado:
- gpt-oss-20bRequer pelo menos 16 GB de RAM para computadores desktop comuns
- gpt-oss-120bGPU: requer uma GPU de alto desempenho (por exemplo, NVIDIA H100) e pelo menos 80 GB de memória de vídeo para dispositivos profissionais.
A diferença é principalmente:
- Tamanho do modelo: 120b Maior tamanho do parâmetro, melhor compreensão, mas uso intensivo de recursos
- Qualidade de resposta: o 120b fornece respostas de diálogo mais complexas, o 20b é mais focado em baixa latência
- Cenários de uso: 20b para jogos interativos rápidos, 120b para experiências de diálogo aprofundadas
Se você tiver problemas para carregar o modelo, tente ajustar o PYTORCH_CUDA_ALLOC_CONF
configuração da memória ou diminuindo o nível de inferência.
Essa resposta foi extraída do artigogpt-oss-space-game: um jogo espacial local interativo por voz criado usando modelos de IA de código abertoO