One Balance: ein Lastausgleichstool für die intelligente Verwaltung von AI-API-Schlüsseln über Cloudflare AI Gateway

One Balance ist ein Open-Source-Tool, das auf Cloudflare AI Gateway aufbaut und Entwicklern hilft, mehrere AI-API-Schlüssel effizient zu verwalten. Es weist API-Anfragen durch intelligentes Polling und Health Checks zu, optimiert die Nutzung von Kontingenten und reduziert das Risiko von Schlüsselblockierungen. Nutzer können schnell auf Cloudflare Worker aufsetzen und Google AI Studio, OpenAI und andere KI-Anbieter unterstützen. Das Projekt ist Open Source auf GitHub, mit einfacher Konfiguration, geeignet für einzelne Entwickler oder Teams.

Funktionsliste

• Leiten Sie API-Anfragen über Cloudflare AI Gateway weiter, um Schlüssel zu sichern.
• Intelligente Abfrage mehrerer API-Schlüssel und automatische Verteilung der Anfragen zur Maximierung der Quote.
• Unterstützt die Strombegrenzung auf Modellebene, wodurch überlastete Modelle genau identifiziert und vorübergehend blockiert werden können.
• Automatische Erstellung und Verwaltung von D1-Datenbanken zur Speicherung des Schlüsselstatus.
• Bereitstellung eines einheitlichen API-Anfrageportals, das mit einer Vielzahl von KI-Anbietern kompatibel ist.
• Stellen Sie Cloudflare Worker mit einem Klick bereit und generieren Sie eine dedizierte Worker-URL.
• Intelligente Fehlerbehandlung, Unterscheidung zwischen Minuten- und Tageskontingenten, automatische Kühlung.

Hilfe verwenden

Einbauverfahren

Ein Gleichgewicht beruht auf der Bereitstellung von Cloudflare Worker, was ein einfacher Prozess ist, aber grundlegende technische Kenntnisse erfordert. Nachfolgend finden Sie die detaillierten Schritte:

1. Projektlager klonen
   Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus, um das One Balance-Repository zu klonen:

   git clone https://github.com/glidea/one-balance.git
   cd one-balance
   

2. Installation von Abhängigkeiten
   Verwenden Sie pnpm, um die erforderlichen Abhängigkeiten für Ihr Projekt zu installieren:

   pnpm install
   

3. Konfigurieren des Autorisierungsschlüssels
   Setzen von Umgebungsvariablen AUTH_KEYdie zur Validierung der API-Anforderung verwendet wird.
   • Mac/Linux : Führen Sie den folgenden Befehl aus:

   AUTH_KEY=your-super-secret-auth-key pnpm run deploycf
   

   • Windows (PowerShell) : Führen Sie den folgenden Befehl aus:

   $env:AUTH_KEY = "your-super-secret-auth-key"; pnpm run deploycf
   

4. Bereitstellen auf Cloudflare Worker
   Nachdem Sie den Deploy-Befehl ausgeführt haben, müssen Sie sich bei Cloudflare's wrangler Tool (muss vorher installiert werden). Wenn Sie nicht angemeldet sind, folgen Sie den Aufforderungen, um die Anmeldung abzuschließen. Bei der Bereitstellung wird automatisch die D1-Datenbank erstellt und die Worker-URL generiert, zum Beispiel:

   https://one-balance-backend.<your-subdomain>.workers.dev
   

5. Validierung des Einsatzes
   Nach erfolgreicher Bereitstellung rufen Sie die generierte Worker-URL auf (z. B. https://one-balance-backend.workers.devAuf dem chinesischen Festland benötigen Sie möglicherweise ein VPN). Auf dem chinesischen Festland kann ein VPN erforderlich sein. curl um zu testen, ob die API ordnungsgemäß antwortet.

Verwendung

One Balance leitet API-Anfragen über das Cloudflare AI Gateway weiter, um eine Verbindung mit dem Google AI Studio oder Dienste wie OpenAI. So funktioniert es:

1. API-Anforderung senden
   Senden Sie eine Anfrage unter Verwendung der generierten Worker-URL. Zum Beispiel: Aufruf von Google Zwillinge 2.5 Das Antragsformat für das Pro-Modell ist:

   https://one-balance-backend.workers.dev/api/google-ai-studio/v1beta/models/gemini-2.5-pro:generateContent
   

   Die Anfrage muss in der Kopfzeile Folgendes enthalten AUTH_KEY, Beispiel:

   curl -H "Authorization: Bearer your-super-secret-auth-key" \
   https://one-balance-backend.workers.dev/api/google-ai-studio/v1beta/models/gemini-2.5-pro:generateContent
   

2. Verwalten des Schlüsselstatus
   One Balance verwendet die D1-Datenbank, um den Schlüsselstatus zu speichern, einschließlich:
   • Aktiv : Der Schlüssel ist vorhanden.
   • Abkühlung : Das Modell löst eine Strombegrenzung aus und wird vorübergehend abgekühlt.
   • Blockiert : Die Taste ist blockiert und wird angehalten.
     Das System basiert auf minuten- oder tagesgenauen Quoten (z. B. Google AI-Studio (die Quote) passt die Abkühlungszeit automatisch an, z. B. 24 Stunden nach Auslösung der Sky-Level-Quote.
3. Einsicht in das Anforderungsprotokoll
   Zeigen Sie die AI-Gateway-Anforderungsprotokolle in der Cloudflare-Konsole an, einschließlich Erfolgsraten, Fehlertypen usw. One Balance behandelt automatisch 429-Fehler (Ratenbeschränkung), indem es zu einem verfügbaren Schlüssel wechselt.

Featured Function Bedienung

• Cloudflare AI Gateway Weiterleitung Anfragen werden über den Gateway-Proxy gestellt, wodurch der ursprüngliche Schlüssel verborgen bleibt und das Risiko einer Blockierung verringert wird.
• Intelligente Abfrage Automatisches Auswählen der verfügbaren Tasten zum Senden von Anfragen, wodurch die Notwendigkeit einer manuellen Verwaltung entfällt.
• Strombegrenzung auf Modellebene Wenn ein Modell eine Flussbegrenzung auslöst, unterbricht das System die Modellanforderung und wechselt zu anderen verfügbaren Modellen oder Schlüsseln.
• Schneller Einsatz Bereitstellen auf Cloudflare Worker mit einem einzigen Klick, Generierung der Worker-URL und schon kann es losgehen.
• Fehlerbehandlung Identifiziert Quotenfehler, kühlt automatisch und schaltet Tasten um, um die Kontinuität des Dienstes zu gewährleisten.

caveat

• Stellen Sie den Netzwerkzugang zum Cloudflare-Service sicher; Benutzer auf dem chinesischen Festland benötigen möglicherweise ein VPN.
• Nicht teilen AUTH_KEYdamit ein Fehler in der Auftragsverfolgung nicht zu einer Flussbegrenzung führt.
• Loggen Sie sich regelmäßig in die Cloudflare-Konsole ein, um die Schlüssel zu aktualisieren oder die Quota-Richtlinien zu optimieren.

Anwendungsszenario

1. AI-Entwickler verwalten Keys effizient
   Entwickler besitzen mehrere KI-API-Schlüssel und müssen die Quotenauslastung maximieren. one Balance vereinfacht die Verwaltung durch intelligente Verteilung von Anfragen über das Cloudflare AI Gateway.
2. Hochverfügbarkeit für Enterprise AI-Anwendungen
   Unternehmen, die Chatbots oder Tools zur Inhaltserstellung entwickeln, müssen API-Aufrufe stabilisieren. One Balance gewährleistet die Abfrage von Schlüsseln und die Fehlerbehandlung, um Dienstunterbrechungen zu vermeiden.
3. Zusammenarbeit mit der Open-Source-Gemeinschaft
   Open-Source-Projektteams können Schlüsselpools mit One Balance gemeinsam nutzen, um das Risiko von Blockaden zu verringern und die Entwicklungseffizienz zu verbessern.

QA

1. Welche AI-Anbieter werden von One Balance unterstützt?
   Unterstützung für Google AI Studio, OpenAI, etc., wie in der Cloudflare AI Gateway Dokumentation beschrieben (https://developers.cloudflare.com/ai-gateway/providers).
2. Wie lässt sich das Risiko einer Tastenblockierung verringern?
   Verwenden Sie Cloudflare AI Gateway Proxy-Anfragen, um Schlüsselinformationen zu verbergen. Teilen vermeiden AUTH_KEYDie Quote wird regelmäßig überprüft.
3. Wie werden Fehler bei der Bereitstellung behandelt?
   erkennen wrangler Eingeloggt, überprüft AUTH_KEY Einstellungen. Prüfen Sie die Terminalprotokolle oder GitHub Issues für Hilfe.
4. Wie unterstützen Sie andere KI-Anbieter?
   Ändern Sie die Logik für die Weiterleitung von Anfragen und lesen Sie in der Cloudflare AI Gateway-Dokumentation nach, um das API-Format des neuen Anbieters hinzuzufügen.