资源优化技术方案
针对不同硬件配置提供多级解决方案：
- 浏览器端降级方案::
- Änderungen
packages/client/src/lib/config.ts中的模型配置 - 选择量化模型如
llama-3-8b-instruct-q4
- Änderungen
- 桌面端优化方案::
- NVIDIA用户启用
CUDA_VISIBLE_DEVICES限制GPU使用 - erhöhen.
--n-gpu-layers 20参数平衡负载
- NVIDIA用户启用
- 混合推理方案::
konfigurieren.
REMOTE_LLM_API实现冷热分流，将长上下文任务路由到云端
监控工具推荐：
ausnutzennvtop(Linux)或GPU-Z(Windows)实时监测显存占用，配合AIRI内置的/metrics端点分析瓶颈
Diese Antwort stammt aus dem ArtikelAIRI: Selbstgehosteter virtueller KI-Begleiter mit Unterstützung für Echtzeit-Sprach- und SpielinteraktionDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " 怎样克服本地推理时的显存不足问题？
Deutsch 
简体中文 
English 
日本語 
Português do Brasil