当前位置：首页 » AI答疑

如何在 Presenton 中使用 GPU 加速生成？

2025-08-19

250

实现 GPU 加速需要三个关键步骤：

硬件准备：确保设备配备 NVIDIA GPU 并安装正确驱动，需提前部署 NVIDIA Container Toolkit。
启动参数配置：在 Docker 运行命令中添加 --gpus=all 标签，并指定大语言模型（如 OLLAMA_MODEL=llama3.2:3b）。完整的示例命令：
docker run -it --gpus=all -e LLM=ollama -e OLLAMA_MODEL=llama3.2:3b [...]
效能验证：生成后观察终端输出，正常启用时会显示 GPU 内存占用情况。实测表明，GPU 加速可使 llama3 等模型的幻灯片生成速度提升 2-3 倍。

注意：需根据 GPU 显存容量选择合适模型，8GB 显存建议使用 3B 参数规模以下的模型。