Programa trifásico de otimização de custos do LLM
O AIRouter atinge o preço/desempenho ideal por meio de um mecanismo de controle de custos multidimensional:
- Pré-configuração::
- Configuração prioritária de chaves de fornecedor de baixo custo (por exemplo, DeepInfra) em api_keys_local.py
- Defina mode="cost_first" para ativar o modo cost-first.
- controle de tempo de execução::
- O serviço de verificação de integridade monitora o faturamento em APIs em tempo real
- Seleção automática do modelo mais rápido dentro do limite de custo por meio de um algoritmo Pareto-optimal
- análise de pós-processamento::
- Analisar o consumo real de cada modelo na tabela api_key_usage do banco de dados MySQL
- Visualização dos registros de alerta de custo com os registros do docker-compose
Dicas avançadas:
Para tarefas não críticas, uma lista de modelos sensíveis ao custo (por exemplo, ["claude35_sonnet", "gemini15_pro"]) pode ser especificada usando o método generate_fromTHEbest que exclui modelos com preços altos.
Essa resposta foi extraída do artigoAIRouter: uma ferramenta de roteamento inteligente para invocar vários modelos com uma interface de API unificadaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como otimizar a relação custo-benefício do uso do LLM?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch