A implantação via Docker é a solução recomendada, que é feita em três etapas:
- Preparação do ambiente básico::
- Instalação do Docker Desktop e do Docker Compose
- aprovar (um projeto de lei ou inspeção etc.)
git cloneObtenha a base de código mais recente - Configure a chave de autenticação e os parâmetros do banco de dados no arquivo .env
- Integração da Ollama::
- Modifique o docker-compose.yml para adicionar
extra_hostsmapa (matemática) - configurar
OLLAMA_HOST=http://host.docker.internal:11434 - Puxe o modelo desejado pelo script:
./scripts/ollama_docker.sh pull llama3
- Modifique o docker-compose.yml para adicionar
- Início dos serviços::
- Modo acelerado por GPU:
docker compose up --profile local-gpu -d --build - Modo CPU puro:
docker compose up --profile local-cpu -d --build - entrevistas
http://localhost:3000Plataforma
- Modo acelerado por GPU:
Observação: recomenda-se 16 GB ou mais de RAM para a operação local do LLM, e as GPUs NVIDIA podem melhorar significativamente o desempenho. Os registros podem ser acessados por meio dodocker compose logsVisualização ao vivo.
Essa resposta foi extraída do artigoSim Studio: criador de fluxo de trabalho de código aberto para agentes de IAO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como faço para implantar o Sim Studio em meu computador local e me conectar ao LLM local?
