Programa de otimização do atraso do corpo inteligente
A solução da latência da chamada de função requer uma abordagem de otimização em nível de sistema:
- Otimização da infraestrutura::
- Use o recurso Continuous Batch do vLLM:
vllm serve --enforce-eager --max-num-seqs=128 - Ativar a aceleração do servidor de inferência do Triton no momento da implantação
- Registre caches locais para ferramentas de HF (por exemplo, respostas da API de armazenamento do SQLite)
- Use o recurso Continuous Batch do vLLM:
- Otimização da estratégia de chamadas::
- Descrições pré-carregadas de ferramentas comumente usadas:
model.register_tool('weather_api', schema=weather_schema, cache=True) - Configuração de um mecanismo de fallback de tempo limite: quando a resposta da ferramenta atinge o tempo limite de 2 segundos, ela muda automaticamente para a estimativa do modelo.
- Processamento em lote de solicitações paralelas: use
asyncio.gatherMesclando várias chamadas de ferramentas
- Descrições pré-carregadas de ferramentas comumente usadas:
- Otimização do projeto arquitetônico::
- Ferramentas simples
non-thinkingModo Resposta Rápida - Os processos complexos usam
thinking+cotmodelo de execução passo a passo - Habilite a saída de streaming para tarefas sensíveis ao tempo:
for chunk in model.stream_chat(tokenizer, '实时股票分析'): print(chunk)
- Ferramentas simples
Após o teste, o método acima pode reduzir o tempo médio de resposta dos robôs de atendimento ao cliente de comércio eletrônico de 3,2 segundos para 0,8 segundos, no qual a latência da chamada da ferramenta é reduzida em 76%. Recomenda-se cooperar com a Prometheus para monitorar o tempo consumido em cada sessão.
Essa resposta foi extraída do artigoGLM-4.5: grandes modelos multimodais de código aberto que suportam raciocínio inteligente e geração de códigoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como superar o problema de latência das chamadas de função GLM-4-5 no desenvolvimento de corpos inteligentes?
