As etapas para usar um modelo de idioma local grande no Sim Studio são as seguintes:
- Extração de modelos por meio de scripts: executar
./apps/sim/scripts/ollama_docker.sh pull <model_name>para fazer o download do modelo necessário (por exemplo, LLaMA). - Inicie um ambiente que ofereça suporte a modelos locais: selecione o modo GPU ou CPU, dependendo da configuração do hardware, e execute o comando Docker Compose apropriado.
- Selecione o modelo local na configuração do fluxo de trabalho e especifique o modo de operação (GPU ou CPU).
- Teste a resposta do modelo para garantir que o fluxo de trabalho esteja funcionando corretamente.
Observe que o modelo local requer mais espaço de armazenamento e recursos computacionais, e é recomendável usar uma GPU de alto desempenho para obter uma experiência melhor.
Essa resposta foi extraída do artigoSim: ferramentas de código aberto para criar e implantar rapidamente fluxos de trabalho de agentes de IAO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como posso usar um modelo de idioma local grande no Sim Studio?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch