怎样克服本地推理时的显存不足问题？

2025-08-22

453

资源优化技术方案

针对不同硬件配置提供多级解决方案：

浏览器端降级方案::
1. 修正packages/client/src/lib/config.ts中的模型配置
2. 选择量化模型如llama-3-8b-instruct-q4
桌面端优化方案::
- NVIDIA用户启用CUDA_VISIBLE_DEVICES限制GPU使用
- 増加--n-gpu-layers 20参数平衡负载
混合推理方案::
コンフィグREMOTE_LLM_API实现冷热分流，将长上下文任务路由到云端

监控工具推荐：

利用するnvtop(Linux)或GPU-Z(Windows)实时监测显存占用，配合AIRI内置的/metrics端点分析瓶颈