Soluções para memória de vídeo insuficiente
O problema da memória de vídeo insuficiente para computadores comuns pode ser resolvido com as três soluções técnicas a seguir:
- Programa de quantificação QLoRATreine com precisão de 4 bits para reduzir o requisito de memória do modelo 7B para 6 GB. Modifique o settings.json no arquivoload_in_4bitO parâmetro é True
- Programa de treinamento distribuídoUse várias placas de vídeo de consumidor para trabalhar em conjunto e compartilhar a memória de vídeo com o otimizador ZeRO-2 do DeepSpeed. Comando de instalação:
uv pip install deepspeed - Alternativas de serviços em nuvemRecursos de GPU gratuitos do AutoDL ou Kaggle são recomendados, com o cuidado de selecionar instâncias com placas de vídeo T4 (16 GB) e superiores.
Para computadores com 8 GB de memória de vídeo, é possível tomar medidas adicionais para 1) reduzir o batch_size para 2, 2) ativar gradient_checkpointing e 3) usar técnicas de descarregamento da CPU. Especificamente, você precisa adicionar em train_sft.py--gradient_checkpointing --offload_param=cpuparâmetros
Essa resposta foi extraída do artigoWeClone: treinamento de doppelgangers digitais com registros de bate-papo e vozes do WeChatO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como resolver o problema de não conseguir executar o WeClone devido à falta de memória de vídeo em um computador normal?
