Soluções de adaptação de hardware
- Modo CPUConfigure o parâmetro do dispositivo como "cpu" para ambientes sem GPUs.
- Otimização da memória de vídeoAdicionar ao carregar o modelolow_cpu_mem_usage=Trueparâmetros
- Carga quantitativaQuantização de 8 bits do modelo usando torch.quantization
Programa de otimização de software
- Limitar o tempo de geração (padrão: cerca de 30 segundos)
- O estágio de pré-processamento desativa os recursos indesejados (por exemplo, não permite a clonagem de sons)
- adoçãogeração de streamingProcessamento de segmento de padrão
alternativa
Ele pode ser executado usando uma plataforma de nuvem, como o Google Colab, e a escolha de uma instância de GPU T4 será suficiente.
Essa resposta foi extraída do artigoSongGen: um transformador autorregressivo de estágio único para geração automática de músicasO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como otimizar a eficiência operacional do SongGen em um ambiente com recursos limitados?
