As etapas a seguir são necessárias para integrar um modelo de idioma local grande usando o Sim:
- Primeiro, puxe o modelo desejado pelo script:
./apps/sim/scripts/ollama_docker.sh pull <model_name> - Selecione o método de inicialização de acordo com o ambiente de hardware:
- Ambiente de GPU:
docker compose --profile local-gpu -f docker-compose.ollama.yml up -d - Ambiente da CPU:
docker compose --profile local-cpu -f docker-compose.ollama.yml up -d
- Ambiente de GPU:
- Seleção de modelos locais extraídos na configuração do fluxo de trabalho
- Especifique o modo GPU ou CPU conforme necessário
- Teste a resposta do modelo para garantir que o fluxo de trabalho esteja funcionando corretamente
Observe que os modelos locais exigem mais espaço de armazenamento e recursos computacionais, especialmente porque os ambientes de GPU oferecem melhor desempenho.
Essa resposta foi extraída do artigoSim: ferramentas de código aberto para criar e implantar rapidamente fluxos de trabalho de agentes de IAO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como posso usar um modelo local de idioma grande no Sim?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch