如何优化 MM-EUREKA 在内存有限的设备上的运行效率？

2025-08-29

1.2 K

资源受限环境下的调优策略

针对 16GB 以下内存的设备，推荐以下优化组合：

Model Selection
- 优先使用 8B 版本（需修改 inference.py hit the nail on the head --model (Parameters)
- 启用 8-bit 量化：安装 bitsandbytes 包后添加 --load_in_8bit parameters
计算加速
- 强制使用 Flash-Attention（安装时指定 --no-build-isolation)
- 限制推理批处理大小（设置 --batch_size 1)
memory management
- 启用梯度检查点：在训练脚本中添加 gradient_checkpointing=True
- 使用混合精度训练：配置文件设置 fp16: true
Emergency program：当出现 OOM 错误时
1. 尝试释放缓存：torch.cuda.empty_cache()
2. 降低图像分辨率（修改预处理代码中的 resize 参数）

real time data：经过优化后，GTX 1060 显卡也能流畅运行基础推理任务。