低显存设备运行方案
DiffSynth-Engine特别考虑了低配设备的使用需求,主要通过以下技术实现:
- CPUオフロード技術:将部分计算任务转移到CPU,显存需求可从23GB降至4GB
- 量化模式:支持q8_0、q6_k等多种精度量化,显存需求可降至7-12GB
- Sequential CPU Offload:通过分阶段计算可让3.5GB显存的设备运行
具体的な操作方法
在FLUX图像生成示例中,只需修改offload_mode参数:pipe = FluxImagePipeline.from_pretrained(config, offload_mode="sequential_cpu_offload").eval()
此外,可以选择q4_k_s等低精度量化模式进一步降低资源需求,虽生成质量略有下降,但仍能保持实用效果。
この答えは記事から得たものである。DiffSynth-Engine:オープンソースエンジン、FLUXの低既存デプロイメント用、Wan 2.1について