硬件适配方案
- CPU模式:将device参数设为”cpu”,适合没有GPU的环境
- 显存优化:加载模型时添加low_cpu_mem_usage=True参数
- 量化加载:使用torch.quantization对模型进行8bit量化
软件优化方案
- 限制生成时长(默认约30秒)
- 预处理阶段关闭不需要的特性(如不启用声音克隆)
- 采用streaming生成模式分片段处理
替代方案
可使用Google Colab等云平台运行,选择T4 GPU实例即可满足需求。
本答案来源于文章《SongGen:自动生成歌曲的单阶段自回归Transformer》