低显存设备运行方案
DiffSynth-Engine特别考虑了低配设备的使用需求,主要通过以下技术实现:
- CPU卸载技术:将部分计算任务转移到CPU,显存需求可从23GB降至4GB
- 量化模式:支持q8_0、q6_k等多种精度量化,显存需求可降至7-12GB
- Sequential CPU Offload:通过分阶段计算可让3.5GB显存的设备运行
具体操作方法
在FLUX图像生成示例中,只需修改offload_mode参数:pipe = FluxImagePipeline.from_pretrained(config, offload_mode="sequential_cpu_offload").eval()
此外,可以选择q4_k_s等低精度量化模式进一步降低资源需求,虽生成质量略有下降,但仍能保持实用效果。
本答案来源于文章《DiffSynth-Engine:低现存部署FLUX、Wan2.1的开源引擎》