Solução abrangente para otimização da memória
Uma solução tridimensional para gargalos de memória de modelos grandes:
- gerenciamento dinâmico de memória (DMM)Ativar a limpeza e a desfragmentação da memória em tempo real definindo memory_optimize: true em config.yaml
- Atenção esparsa em blocosConfigure o parâmetro attention.block_size (recomendado de 64 a 256) para reduzir o uso da memória de vídeo do 20%-40%
- técnica de cache de gradientePara tarefas de geração, defina generation.save_memory=true para ativar a técnica de ponto de verificação de gradiente
Sugestões de implementação: 1) Monitorar as flutuações do Mem% no nvidia-smi; 2) Reduzir gradualmente o tamanho do bloco até que o OOM desapareça; 3) Combinar com o parâmetro -profile_memory para realizar a análise do gargalo
Essa resposta foi extraída do artigoKTransformers: Mecanismo de desempenho de inferência de modelos grandes: aceleração extrema, capacitação flexívelO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como otimizar o uso da memória durante a inferência de modelos grandes?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch