O AgentGuard é uma ferramenta de código aberto focada no monitoramento em tempo real e no controle do custo do uso de agentes de IA, como grandes modelos de linguagem. Ela ajuda os usuários a definir limites de orçamento por meio de integrações de código simples para evitar altos custos causados por agentes de IA fora de controle. Seus principais recursos incluem:
- Monitore o custo das chamadas de API em tempo real, mostrando o gasto atual e a porcentagem do orçamento.
- Oferece suporte à definição de um limite de orçamento, com opções para gerar um erro, enviar uma notificação ou encerrar o processo quando esse limite for excedido.
- Fornece registros históricos detalhados de chamadas de API para facilitar o rastreamento e a análise de custos.
- Oferece suporte ao compartilhamento de orçamento de vários processos e ao rastreamento de custos entre processos por meio do Redis.
- Oferece opções de proteção de privacidade para bloquear automaticamente dados confidenciais.
- Suporte para ajuste dinâmico de limites orçamentários e modos de proteção.
- Integre a funcionalidade de webhook para enviar alertas de custo em tempo real para o Slack ou Discord.
Essa resposta foi extraída do artigoAgentGuard: uma ferramenta para monitorar os custos dos agentes de IA em tempo real e evitar excessos de custosO