Uma solução para permitir chamadas contínuas entre provedores de LLM
O AIRouter resolve o problema de compatibilidade de APIs de vários fornecedores por meio do projeto de interface de API unificada; as etapas específicas de implementação são as seguintes:
- Pacotes de interface padronizadosSe todas as solicitações LLM forem convertidas em um formato uniforme, os desenvolvedores simplesmente chamarão o método generate na classe LLM_Wrapper, que trata internamente das diferenças nos protocolos de diferentes fornecedores de forma automática
- gerenciamento de configuração de origemInterface de usuário: as especificações de interface da OpenAI, Anthropic e de outros fornecedores principais são pré-construídas no ew_config/source.py, e você só precisa estender esse arquivo de configuração ao adicionar novos fornecedores.
- Mecanismo de roteamento inteligentegpt4o_mini: corresponde automaticamente ao melhor provedor com base no parâmetro model_name da solicitação; por exemplo, o gpt4o_mini pode ser roteado para OpenAI ou OpenRouter
Exemplo de uma chamada real:
from LLMwrapper import LLM_Wrapper
resposta = LLM_Wrapper.generate(
model_name="gpt4o_mini",
prompt="Sua pergunta"
)
Observação: é recomendável configurar chaves alternativas para vários fornecedores no api_keys_local.py para que o sistema alterne automaticamente quando o fornecedor principal não estiver disponível.
Essa resposta foi extraída do artigoAIRouter: uma ferramenta de roteamento inteligente para invocar vários modelos com uma interface de API unificadaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como obter chamadas de API contínuas em vários provedores de LLM?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch