Recursos de computação inclusiva
O AingDesk reduz os requisitos de execução de grandes modelos para o alcance de computadores domésticos por meio de técnicas de otimização em vários níveis:
- Configuração mínima: processador Intel i5-8250U/Ryzen 5 2500U + 8 GB de RAM + SSD de 10 GB
- Técnica de quantificação: o esquema de quantificação do modelo de 4 bits é adotado por padrão, com perda de precisão de apenas 3,2% em comparação com a precisão do FP16
- Descarregamento dinâmico: gerenciamento inteligente da memória de vídeo/troca de dados da memória, suporte ao modelo de parâmetro 6B em execução em dispositivos de 8 GB
Testes práticos mostram que, em notebooks finos e leves, como o Lenovo Xiaoxin Air14, o AingDesk pode manter uma velocidade de geração de 15 tokens/s, o que atende aos requisitos básicos para aplicativos de nível de pesquisa.
Essa resposta foi extraída do artigoAingDesk: instalação com um clique de modelos de IA e interfaces de bate-papo em computadores pessoais (com DeepSeek)O
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " A solução de adaptação de hardware da AingDesk equipa PCs de consumidores com recursos profissionais de pesquisa de IA
