Programa de otimização de desempenho
Uma operação suave pode ser obtida com uma estratégia de otimização de três níveis para as limitações de memória gráfica das GPUs de consumo:
- Otimização básica::
- Forçar o uso do modelo flux-dev-fp8 (parâmetro -model_type)
- Ativar o descarregamento de memória (parâmetro -offload)
- Resolução de saída reduzida para 512 x 512
- Otimização intermediária::
- Reduzir as etapas de difusão para 20 (-num_steps 20)
- Desativar a otimização de xformers (adicionar -disable_xformers)
- Usar o modo de meia-precisão (-half_precision)
- Otimização avançada::
- Uso do ajuste fino do LoRA como alternativa ao treinamento completo do modelo
- Usando a técnica de ponto de controle de gradiente
- Descarregamento da CPU por meio da biblioteca de aceleração do HuggingFace
Os dados de medição mostram que a RTX 3060 (12 GB) pode controlar o tempo de geração de uma única imagem em 90 segundos com a otimização acima, e o consumo de memória é estável abaixo de 10 GB.
Essa resposta foi extraída do artigoUNO: suporte para ferramentas de geração de imagens personalizadas de assunto único e de vários assuntos (adequadas para gráficos de comércio eletrônico)O































