通过Docker部署是推荐方案,具体分三步完成:
- 基础环境准备:
- 安装Docker Desktop和Docker Compose
- 通过
git clone
获取最新代码库 - 配置.env文件中的认证密钥和数据库参数
- Ollama集成:
- 修改docker-compose.yml添加
extra_hosts
映射 - 设置
OLLAMA_HOST=http://host.docker.internal:11434
- 通过脚本拉取所需模型:
./scripts/ollama_docker.sh pull llama3
- 修改docker-compose.yml添加
- 启动服务:
- GPU加速模式:
docker compose up --profile local-gpu -d --build
- 纯CPU模式:
docker compose up --profile local-cpu -d --build
- 访问
http://localhost:3000
使用平台
- GPU加速模式:
注意:本地LLM运行建议16GB以上内存,NVIDIA GPU可显著提升性能。日志可通过docker compose logs
实时查看。
本答案来源于文章《Sim Studio:开源的AI代理工作流构建工具》