当前位置：首页 » AI答疑

如何在Sim中使用本地大语言模型？

2025-08-19

149

使用Sim集成本地大语言模型需要以下步骤：

首先通过脚本拉取所需模型：./apps/sim/scripts/ollama_docker.sh pull <model_name>
根据硬件环境选择启动方式：
- GPU环境：docker compose --profile local-gpu -f docker-compose.ollama.yml up -d
- CPU环境：docker compose --profile local-cpu -f docker-compose.ollama.yml up -d
在工作流配置中选择已拉取的本地模型
根据需要指定GPU或CPU模式
测试模型响应，确保工作流正常运行

需要注意的是，本地模型需要较大的存储空间和计算资源，特别是GPU环境能提供更好的性能。