Histórico
As chamadas à API do LLM podem falhar por vários motivos (problemas de rede, limitação de taxa ou serviço instável, etc.). O mecanismo de repetição incorporado do Instructor pode aumentar efetivamente a taxa de sucesso das solicitações.
Soluções essenciais
- Configuração de novas tentativas básicasDefinição do parâmetro max_retries ao criar um cliente usando constructor.from_openai()
- Estratégias de repetição personalizadasSuporte para a repetição de códigos de status específicos (por exemplo, 429, 503 etc.) por meio do módulo de repetição
- Índice de retiradaTrabalho com o parâmetro backoff_strategy para evitar tempestades de novas tentativas
- controle de tempo limiteConfiguração adequada do tempo limite para evitar longas esperas
habilidade avançada
- Monitoramento do processo de nova tentativa e registro de eventos de nova tentativa usando o sistema de ganchos
- Para tarefas críticas, você pode implementar uma política de fallback para alternar endpoints de API alternativos após uma nova tentativa fracassada
- Em combinação com o modo de disjuntor, as solicitações são temporariamente interrompidas quando a taxa de erro excede um valor limite
ponto de partida
Ao configurar razoavelmente a função de repetição do Instructor, a confiabilidade das chamadas de API pode ser significativamente aprimorada, mantendo a boa estabilidade do sistema.
Essa resposta foi extraída do artigoInstrutor: uma biblioteca Python para simplificar fluxos de trabalho de saída estruturada para grandes modelos de linguagemO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como melhorar a confiabilidade das solicitações de API para modelos de idiomas grandes?
