Para utilizar totalmente o desempenho do modelo de 14 bilhões de parâmetros do DeepCoder-14B-Preview, é oficialmente recomendado o uso de GPUs NVIDIA configuradas com mais de 24 GB de memória de vídeo, e os requisitos específicos de hardware incluem:
- Melhor configuração: placa de computação profissional, como a NVIDIA H100
- Requisitos mínimos: RTX 3090/4090 e outras placas de vídeo de consumo
- O modo CPU requer pelo menos 128 GB de RAM
Programa completo de configuração do ambiente de tempo de execução:
- Ambiente Python 3.10 (recomenda-se o isolamento via conda)
- Deve depender de bibliotecas: transformers, torch, vllm, etc.
- Recomenda-se CUDA 11.8 ou superior
Velocidades de raciocínio de até 45 tokens/s foram comprovadas no H100, e o cartão de memória de vídeo de 24 GB garante uma operação estável em contextos de 32K. O modo de descarregamento da CPU será ativado automaticamente quando não houver memória de vídeo suficiente, mas a velocidade cairá acima de 80%.
Essa resposta foi extraída do artigoDeepCoder-14B-Preview: um modelo de código aberto que se destaca na geração de códigoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " GPU com 24 GB de memória de vídeo é a configuração de hardware recomendada para executar o DeepCoder-14B-Preview
