O Langroid oferece soluções flexíveis de integração do LLM:
- Família de modelos OpenAISuporte nativo para modelos oficiais, como o GPT-4o
- Modelos de código aberto/localConexão com modelos de implantação local, como Llama, Mistral, etc., por meio do proxy Llama ou LiteLLM
- API de modelagem de negóciosCompatível com centenas de serviços de nuvem de provedores
Para usá-lo, basta especificar na configuraçãochat_model
parâmetros, como'ollama/mistral'
denota o modelo local.OpenAIChatModel.GPT4o
representa o modelo mais recente da OpenAI. Esse design permite que os desenvolvedores troquem rapidamente de modelo para testes de comparação sem modificar o código principal.
Essa resposta foi extraída do artigoLangroid: Navegando facilmente em grandes modelos de linguagem com programação corporal multiinteligenteO