Como uma plataforma de middleware com diagnóstico de modelo, o ChatWise criou uma estrutura de acesso LLM padronizada. Sua camada de adaptação de API concluiu a compatibilidade profunda com 7 modelos principais, como GPT-4/3.5, Claude 2/3, Gemini Pro, etc., e adota contagem unificada de tokens e gerenciamento de limite de taxa. O principal avanço tecnológico está no desenvolvimento de um sistema de mapeamento de parâmetros, que transforma os parâmetros de controle, como temperatura e top_p de diferentes modelos, em valores padronizados, para que os usuários não precisem ajustar a estratégia de prompt para cada modelo. Os dados de teste mostram que, no mesmo ambiente de hardware, sua eficiência de roteamento de vários modelos é 40% maior do que a de soluções de código aberto, como LangChain, etc. Os usuários corporativos podem acessar as APIs de vários fornecedores ao mesmo tempo para obter a recuperação de desastres, e os pesquisadores acadêmicos podem comparar as diferenças na saída de diferentes modelos em paralelo, que é um design descentralizado que reduz efetivamente o risco de dependência técnica de aplicativos de IA.
Essa resposta foi extraída do artigoChatWise: cliente de diálogo de IA nativo com primeiro desempenho e acesso automático a APIsO
