Visão geral do sistema de ganchos
O sistema de ganchos do Instructor é um mecanismo de interceptação avançado que permite aos desenvolvedores injetar lógica personalizada nos principais nós de interação do LLM. Ele consiste em dois tipos principais de ganchos principais:
- antes_da_pedido: acionado antes do envio da solicitação
- after_responseAcionamento: acionado após o recebimento de uma resposta
Uso específico
Há três etapas básicas para o uso de hooks:
- Obter instância do cliente do instrutor
- A chamada do método add_hook registra a função de retorno de chamada
- Implemente a lógica necessária no retorno de chamada
Cenários de aplicação prática
As aplicações típicas do sistema de ganchos incluem:
- Registre interações completas para depuração
- Implementação de conversões personalizadas de solicitação/resposta
- Adicionar logs de auditoria e verificações de segurança
- Monitoramento em tempo real das métricas de desempenho de chamadas de API
Essa resposta foi extraída do artigoInstrutor: uma biblioteca Python para simplificar fluxos de trabalho de saída estruturada para grandes modelos de linguagemO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " O que o sistema de ganchos do Instructor faz? Como ele é usado?
