AgentGuard: Ein Tool zur Überwachung der Kosten von KI-Agenten in Echtzeit und zur Vermeidung von Kostenüberschreitungen

AgentGuard ist ein Open-Source-Tool für Entwickler und Unternehmen, mit dem sie die Kosten für den Einsatz von KI-Agenten, z. B. von großen Sprachmodellen, in Echtzeit überwachen und kontrollieren können. AgentGuard unterstützt mehrere Schutzmodi und kann den Prozess automatisch stoppen oder Warnungen ausgeben, wenn Kostenüberschreitungen auftreten. AgentGuard ist einfach zu bedienen und kann in Projekten mit nur wenigen Codezeilen aktiviert werden, so dass es für eine Vielzahl von KI-Entwicklungsszenarien geeignet ist. AgentGuard bietet ein zuverlässiges Kostenmanagement und eine transparente Protokollierung sowohl für die eigenständige Entwicklung als auch für Multiprozessumgebungen.

Funktionsliste

• Überwachen Sie die Kosten für API-Aufrufe für KI-Agenten in Echtzeit und zeigen Sie die aktuellen Ausgaben und den Budgetanteil an.
• Unterstützt die Festlegung eines Budgetlimits mit den Optionen, einen Fehler zu melden, eine Benachrichtigung zu senden oder den Prozess zu beenden, wenn das Limit überschritten wird.
• Bietet detaillierte historische Protokolle der API-Aufrufe zur einfachen Nachverfolgung und Analyse der Kosten.
• Unterstützt prozessübergreifende Budgetaufteilung und prozessübergreifende Kostenverfolgung durch Redis.
• Bietet Optionen zum Schutz der Privatsphäre, um sensible Daten automatisch zu blockieren.
• Unterstützung der dynamischen Anpassung der Budgetobergrenze und des Schutzmodus zur Anpassung an unterschiedliche Missionsanforderungen.
• Integrieren Sie Webhook-Funktionen, um Kostenwarnungen in Echtzeit an Slack oder Discord zu senden.
• Es wird Beispielcode bereitgestellt, um eine schnelle Integration mit Frameworks wie LangChain zu unterstützen.

Hilfe verwenden

Einbauverfahren

AgentGuard ist ein Node.js-Modul mit einem einfachen Installations- und Konfigurationsprozess, der für die meisten KI-Projekte geeignet ist. Hier sind die detaillierten Schritte zur Installation und Verwendung:

1. Installation von Node.js
   Stellen Sie sicher, dass Sie Node.js auf Ihrem System installiert haben (empfohlene Version 18 oder höher). Sie können es von der offiziellen Node.js-Website herunterladen und installieren.
2. AgentGuard-Repository klonen
   Klonen Sie das GitHub-Repository von AgentGuard, indem Sie den folgenden Befehl in einem Terminal ausführen:

   git clone https://github.com/dipampaul17/AgentGuard.git
   cd AgentGuard
   

3. Installation von Abhängigkeiten
   Nachdem Sie das Projektverzeichnis aufgerufen haben, führen Sie den folgenden Befehl aus, um die erforderlichen Abhängigkeiten zu installieren:

   npm install
   

4. Überprüfen der Installation
   Führen Sie nach Abschluss der Installation den folgenden Befehl aus, um den Erfolg zu überprüfen:

   node verify-installation.js
   

   Wenn die Installation korrekt ist, gibt das Terminal eine Bestätigungsmeldung aus.

5. Initialisierung von AgentGuard
   Fügen Sie die folgenden zwei Codezeilen in Ihr AI-Projekt ein, um AgentGuard zu initialisieren:

   const agentGuard = require('agent-guard');
   await agentGuard.init({ limit: 50 });
   

   Hier.limit: 50 Zeigt an, dass ein Budgetlimit von 50 $ festgelegt wurde. Sie können diesen Wert nach Bedarf anpassen.

Optionen zur Konfiguration

AgentGuard bietet flexible Konfigurationsmöglichkeiten. Nachfolgend finden Sie Beschreibungen der am häufigsten verwendeten Parameter:

• limit:: Festlegen einer Haushaltsobergrenze (in US-Dollar), z. B. 50 Zeigt $50 an.
• modeGeschützter Modus: Die folgenden drei werden unterstützt:
  • throwThrow a error on overrun, für Fälle, in denen eine manuelle Bearbeitung erforderlich ist.
  • notifyÜberlauf: Sendet eine Benachrichtigung, wenn er überläuft (z. B. über Webhook), beendet den Prozess aber nicht.
  • kill:: Direkte Beendigung des Prozesses im Falle von Kostenüberschreitungen, was sich für eine strenge Haushaltskontrolle eignet.
• webhookKonfigurieren Sie die Benachrichtigungsadresse (z. B. Slack- oder Discord-Webhook-URL) für den Empfang von Benachrichtigungen. Beispiel:

  webhook: 'https://hooks.slack.com/...'
  

• redisKonfigurieren Sie Redis-URLs für die gemeinsame Nutzung des Budgets durch mehrere Prozesse. Beispiel:

  redis: 'redis://localhost:6379'
  

• privacy: Eingestellt auf true Automatisches Sperren sensibler Daten, wenn
• silent: Eingestellt auf true Blenden Sie das Echtzeit-Kostenaktualisierungsprotokoll aus, wenn.

Beispiel für Initialisierungscode:

const guard = await agentGuard.init({
limit: 100,
mode: 'throw',
webhook: 'https://hooks.slack.com/...',
redis: 'redis://localhost:6379',
privacy: true
});

Hauptfunktionen

1. Aktuelle Kosten anzeigen
   ausnutzen guard.getCost() Ermittelt die aktuellen Gesamtausgaben. Beispiel:

   console.log(`已花费: $${guard.getCost()}`);
   

2. Anpassung der Haushaltsobergrenze
   Das Budget kann dynamisch angepasst werden, wenn sich die Prioritäten der Aufgaben ändern:

   guard.setLimit(500); // 将预算上限改为 500 美元
   

3. Wiederbeschaffungskosten
   Der Kostenzähler kann zurückgesetzt werden, wenn eine neue Aufgabe gestartet wird:

   await guard.reset();
   

4. Einsehen des Anrufprotokolls
   ausnutzen guard.getLogs() Sie erhalten einen detaillierten Verlauf der API-Aufrufe und können so die Kostenquellen leicht analysieren.
5. Angehen der überhöhten Ausgaben
   Wenn das Budget überschritten wird, berücksichtigt AgentGuard die mode Parameter führt die entsprechende Operation aus. Wenn der Modus zum Beispiel throwSie können try-catch verwenden, um dies zu handhaben:

   try {
   const response = await openai.chat.completions.create({...});
   } catch (error) {
   if (error.message.includes('AGENTGUARD_LIMIT_EXCEEDED')) {
   console.log('预算超支:', error.agentGuardData);
   // 切换到低成本模型或保存状态
   }
   }
   

Unterstützung von Browser-Umgebungen

AgentGuard unterstützt auch Browser-Umgebungen. Führen Sie einfach das folgende Skript ein:

<script src="https://unpkg.com/agent-guard@latest/dist/agent-guard.min.js"></script>
<script>
AgentGuard.init({ limit: 50, mode: 'notify' });
</script>

Beispielcode (Rechnen)

Nachfolgend finden Sie ein vollständiges Beispiel für die Integration von AgentGuard in ein OpenAI-Projekt:

const agentGuard = require('agent-guard');
const openai = require('openai');
(async () => {
const guard = await agentGuard.init({
limit: 25,
mode: 'notify',
webhook: 'https://hooks.slack.com/...',
privacy: true
});
try {
const response = await openai.chat.completions.create({
model: 'gpt-4',
messages: [{ role: 'user', content: 'Hello world' }]
});
console.log('响应:', response);
console.log(`当前花费: $${guard.getCost()}`);
} catch (error) {
if (error.message.includes('AGENTGUARD_LIMIT_EXCEEDED')) {
console.log('预算保护触发:', error.agentGuardData);
}
}
})();

Fehlersuche und Tests

AgentGuard stellt Entwicklern mehrere Beispiele zum Testen zur Verfügung:

• in Bewegung sein node examples/runaway-loop-demo.js Simulieren Sie Endlosschleifenszenarien, um den Budgetschutz zu testen.
• in Bewegung sein node examples/langchain-example.js Sehen Sie sich die Integration mit LangChain an.
• zeigen (eine Eintrittskarte) examples/test-browser.html Testen Sie die Unterstützung der Browserumgebung.

Anwendungsszenario

1. Kostenkontrolle bei der AI-Entwicklung
   Bei der Entwicklung von KI-Anwendungen entstehen Entwicklern oft unerwartet hohe Kosten durch übermäßige API-Aufrufe. agentGuard sorgt dafür, dass die Entwicklungskosten durch Echtzeitüberwachung und Budgetbeschränkungen für einzelne Entwickler oder kleine Teams überschaubar bleiben.
2. KI-Projektmanagement für Unternehmen
   Unternehmen, die große KI-Projekte durchführen, müssen ihre Budgets auf mehrere Teams aufteilen, und die Redis-Unterstützung von AgentGuard ermöglicht eine prozessübergreifende Zusammenarbeit, um die Kosten für komplexe Unternehmensanwendungen zu verwalten.
3. Bildungs- und Forschungsprogramme
   Studenten oder Forscher, die mit KI-Modellen experimentieren, können AgentGuard verwenden, um die Kosten für Experimente zu begrenzen und die Verschwendung von Ressourcen durch die Ausführung von Aufgaben zu vermeiden.
4. Browser-seitige KI-Anwendungen
   Entwickler, die KI-Agenten im Browser ausführen, können mit der Browserunterstützung von AgentGuard für interaktive Webanwendungen die Kosten von KI-Aufrufen im Front-End überwachen.

QA

1. Welche KI-Frameworks werden von AgentGuard unterstützt?
   AgentGuard ist ein Framework-unabhängiges Tool, das jedes KI-Projekt unterstützt, das API-Aufrufe verwendet. Es bietet Beispielintegrationen mit Frameworks wie LangChain und kann von Entwicklern nach Bedarf erweitert werden.
2. Wie gehen Sie mit Budgetüberschreitungen um?
   Abhängig von der Konfiguration des modeAgentGuard kann einen Fehler auslösen (throw), das Senden von Benachrichtigungen (notify) oder beenden Sie den Prozess (kill). Entwickler können Fehler abfangen und sie mit try-catch behandeln.
3. Brauche ich Redis?
   Redis ist optional und wird nur in Multiprozess- oder verteilten Umgebungen für gemeinsam genutzte Budgetdaten benötigt. Für eigenständige Projekte muss Redis nicht konfiguriert werden.
4. Wie kann man sensible Daten schützen?
   Oberbefehlshaber (Militär) privacy eingestellt auf trueAgentGuard blockiert automatisch sensible Informationen und stellt sicher, dass Protokolle und Benachrichtigungen keine privaten Daten enthalten.