prescrição
Para simplificar o processo de alternância entre modelos de idiomas diferentes, você pode usar a Any-LLM Unified Interface Tool seguindo estas etapas:
- Formato de chamada de modelo padronizadoTodas as chamadas de modelo são feitas usando o
completion()você só precisa modificar a funçãomodel(no formatoprovider/model_id(Você pode alternar entre os modelos). - Gerenciamento centralizado de chaves de APIConfiguração uniforme de chaves entre plataformas por meio de variáveis de ambiente (por exemplo
export OPENAI_API_KEY='your_key'), para evitar a duplicação das configurações em cada chamada ao - Encapsulamento de funções genéricasCrie modelos de chamada padrão que incluam tratamento de erros, como predefinições
temperaturee outros parâmetros comumente usados para reduzir o código repetitivo
Exemplo típico de implementação:def query_llm(question, model_name='mistral/mistral-small-latest'):
try:
return completion(
model=model_name,
messages=[{'role':'user','content':question}],
temperature=0.8
)
except Exception as e:
print(f'调用失败: {e}')
Esse método pode reduzir o custo da troca de modelos acima de 90%, o que é especialmente adequado para cenários que exigem testes frequentes dos efeitos de modelos diferentes.
Essa resposta foi extraída do artigoAny-LLM: uma ferramenta de código aberto para invocação de interface unificada de modelos multilínguesO
