CozeLoop: eine Open-Source-Plattform für die Optimierung der Entwicklung und des Betriebs von KI-Intelligenzen

CozeLoop ist die Open-Source-Plattform von ByteDance zur Optimierung von KI-Intelligenzen, die auf der Apache-2.0-Lizenz basiert und für die kommerzielle Nutzung frei ist. Sie konzentriert sich auf das Management des gesamten Lebenszyklus von KI-Intelligenzen und umfasst die Entwicklung von Cue-Words, die Fehlersuche, die Bewertung und die Überwachung des Betriebs. Die Plattform bietet Visualisierungstools, um Entwickler bei der schnellen Optimierung der Leistung von Intelligenzen und der Lösung komplexer Probleme in der Entwicklung zu unterstützen. Das Back-End ist in Golang entwickelt, das Front-End basiert auf TypeScript und React, was die Architektur hocheffizient und leicht erweiterbar macht. CozeLoop unterstützt mehrsprachige SDKs (z.B. Python, Go, JavaScript), was die Integration mit lokalen Systemen erleichtert. CozeLoop unterstützt mehrsprachige SDKs (z. B. Python, Go, Java), was die Integration in lokale Systeme erleichtert. Es senkt die Schwelle für die KI-Entwicklung sowie den Betrieb und die Wartung, was für Unternehmen und Entwickler geeignet ist, um leistungsstarke KI-Anwendungen zu erstellen und die Zusammenarbeit mit der Community zu fördern.

Funktionsliste

• Stichwort Wortentwicklung und Fehlersuche : durch Visualisierung Spielplatz Testen und Optimieren von Stichwörtern in Echtzeit mit Unterstützung für den Vergleich mehrerer Modelle.
• Automatisierte Bewertung Verwaltung von Bewertungsdatensätzen und Bewertern zur automatischen Prüfung von Intelligenzen auf Genauigkeit und Übereinstimmung.
• Überwachung des Betriebs Aufzeichnung der Daten der gesamten Verbindung der Smart Body-Ausführung und Überwachung der wichtigsten Knotenpunkte und des abnormalen Status in Echtzeit.
• Management des gesamten Lebenszyklus Unterstützt den gesamten Prozess der Intelligenz von der Entwicklung über die Fehlersuche und Bewertung bis hin zum Einsatz.
• Mehrsprachiges SDK Bereitstellung von Python, Go, JavaScript SDK, die für die sekundäre Entwicklung und Systemintegration geeignet sind.
• Modellintegration Unterstützung für große Modelle wie OpenAI, Volcano Engine Ark und andere flexible Konfigurationen.
• Unterstützung der Open-Source-Gemeinschaft Basierend auf der Apache 2.0-Lizenz werden Beiträge der Gemeinschaft zum Code und Feedback gefördert.
• Unterstützung bei der Internationalisierung Unterstützung für mehrsprachige Schnittstellen, angepasst an die Bedürfnisse globaler Entwickler.

Hilfe verwenden

Installation und Einsatz

CozeLoop ist ein Open-Source-Projekt. Sie müssen den Code aus dem GitHub-Repository klonen und ihn lokal bereitstellen. Hier sind die detaillierten Schritte:

1. Vorbereitung der Umwelt ::
   • Hardware-Voraussetzung Mindestens 2-Kern-CPU, 4 GB RAM.
   • Software-Abhängigkeit ::
     • Docker und Docker Compose Stellen Sie sicher, dass der Docker-Dienst installiert und gestartet ist.
     • Golang : Empfohlene Version 1.23.4, Umgebungsvariablen konfigurieren.
     • Node.js Empfohlene LTS-Version für die Entwicklung von JavaScript SDK.
     • pnpm Installieren Sie pnpm global (empfohlene Version 9.12.0):

     npm i -g pnpm@9.12.0
     

2. Klon-Lager ::
   Holen Sie sich den Quellcode von CozeLoop:

git clone https://github.com/coze-dev/cozeloop.git
cd cozeloop

1. Umgebungsvariablen konfigurieren ::
   • Interviews https://loop.coze.cn/console/enterprise/personal/open/oauth/apps Erstellen Sie eine OAuth-Anwendung, holen Sie sich die client_idundpublic_key_id im Gesang antworten private_key.
   • einrichten. .env Datei, konfigurieren Sie Folgendes:

     COZELOOP_WORKSPACE_ID=your_workspace_id
     COZELOOP_JWT_OAUTH_CLIENT_ID=your_client_id
     COZELOOP_JWT_OAUTH_PRIVATE_KEY=your_private_key
     COZELOOP_JWT_OAUTH_PUBLIC_KEY_ID=your_public_key_id
     COZELOOP_API_BASE=https://api.coze.cn
     

2. Konfigurationsmodell ::
   • Kopieren Sie die Modellprofilvorlage (z. B. das Modell Volcano Engine Ark):

     cp conf/model/template/model_template_ark.yaml conf/model/ark.yaml
     

   • Compiler conf/model/ark.yamlkonfigurieren Sie die folgenden Felder:
     • idBenutzerdefinierte Modell-IDs, Ganzzahlen ungleich Null, global eindeutig, nach der Bereitstellung nicht mehr änderbar.
     • meta.conn_config.api_keyModel Service API Key, z. B. Volcano Engine Ark API Key (wie man ihn erhält, siehe https://www.volcengine.com/docs/82379/1541594).
     • meta.conn_config.modelModel Endpoint ID: Modell-Endpunkt-ID, z. B. Endpunkt-ID des Ark-Modells (wie man diese erhält, siehe https://www.volcengine.com/docs/82379/1099522).
3. Installation von Abhängigkeiten ::
   • Go-Abhängigkeiten werden durch die go mod Automatisierte Verwaltung:

     go mod tidy
     

   • JavaScript-Abhängigkeiten:

     pnpm install
     rush update
     

4. Bauen und Ausführen ::
   • Projekt bauen:

     go build
     

   • Starten Sie den Dienst:

     docker compose --profile '*' up -d
     

     Bei der ersten Bereitstellung muss das Image möglicherweise gezogen werden, und die Protokolle werden nach einem erfolgreichen Start angezeigt. Container coze-server StartedMit Hilfe des http://localhost:3000 Zugang.

5. Entwicklungsmodell ::
   • Der Standard-Entwicklungsmodus unterstützt Hot-Reloading, d. h. die Änderung des Backend-Codes ohne Neustart des Dienstes. Ausführen:

     ./dev_reload.sh
     

Nutzung der Kernfunktionen

1. die Entwicklung und Fehlerbehebung von Cues

• Zum Spielplatz gehen : Anmeldekonsole (https://loop.coze.cn/console/enterprise/personal/open), wählen Sie das Modul "Prompt Words".
• Prompts erstellen Eingabe des Inhalts der Cue-Wörter und Testen des Output-Effekts in Echtzeit. Unterstützt den Vergleich mehrerer Modelle (z.B. OpenAI und Ark Modelle). Beispiel Go-Code:

prompt, err := loop.GetPrompt(ctx, loop.GetPromptParam{PromptKey: "test_prompt"})
messages, err := loop.PromptFormat(ctx, prompt, map[string]any{"input": "Hello"})

• Versionsverwaltung Speichern Sie die Cue-Word-Version und wechseln Sie jederzeit zu ihr oder rollen Sie sie zurück.

2. automatisierte Bewertung

• Management-Bewertungsset Hochladen von Testdatensätzen (z. B. JSON-Dateien), Festlegung von Bewertungsmaßstäben (z. B. Genauigkeit, Prägnanz).
• laufendes Experiment Wählen Sie das Auswertegerät, testen Sie automatisch die Smart Body-Ausgabe und sehen Sie sich die Statistiken an.
• Bericht ansehen Die Konsole zeigt den Versuchsbericht an und analysiert die Leistung des Modells.

3. operationelle Überwachung

• Spurensuche Aufzeichnung von Daten aus der gesamten Ausführungskette der Intelligenz, einschließlich der Analyse der Eingaben, des Aufrufs des Modells und der Ausgabe. Beispiel:

ctx, span := loop.StartSpan(ctx, "root", "custom")
span.SetInput(ctx, "User query")
span.SetOutput(ctx, "AI response")
span.Finish(ctx)
loop.Close(ctx)

• Visualisierung Trace-Daten auf der Konsole anzeigen, um kritische Knoten und Ausnahmezustände zu analysieren.

4. die SDK-Integration

• Python-SDK Für eine schnelle Integration:

from cozepy import Coze, TokenAuth
coze = Coze(auth=TokenAuth(os.getenv("COZE_API_TOKEN")))
bot = coze.bots.create(space_id="your_workspace_id", name="TestBot")
print(f"Created bot: {bot.name}")

• JavaScript-SDK : in frontend Verzeichnis zu starten:

rushx start

5. die Unterstützung der Internationalisierung

• Konfigurieren Sie die mehrsprachige Schnittstelle in conf Katalog bearbeiten i18n-Einstellungen, Unterstützung von Englisch, vereinfachtem Chinesisch, etc.

Problem-Screening

• Konfiguration prüfen Um sicherzustellen, dass .env und Modellprofile sind korrekt.
• Ansicht Log : Führen Sie den folgenden Befehl aus, um den Status des Containers zu überprüfen:

docker ps
docker logs <container_id>

• Netzwerkproblem Bestätigung COZELOOP_API_BASE zugänglich ist, überprüfen Sie das Docker-Netzwerk.

Beiträge der Gemeinschaft

• Beratung CONTRIBUTING.md Code einreichen. Sicherheitsfragen werden durch die https://security.bytedance.com/src oder E-Mail sec@bytedance.com Melden, nicht offenlegen.

Anwendungsszenario

1. AI-Kundenservice-Optimierung
   Verwenden Sie die CozeLoop-Debugging-Eingabeaufforderungen, um die Leistung der Kundenservice-Intelligenz zu überwachen und die Antwortgenauigkeit zu verbessern.
2. Modellierungsbewertung
   Entwickler testen die Modellergebnisse mithilfe des automatischen Bewertungsmoduls, um die Wirksamkeit von KI-Anwendungen zu optimieren.
3. Echtzeit-Überwachung
   Unternehmen können den Betriebsstatus von Intelligenz überwachen, Anomalien schnell finden und beheben und die Systemstabilität verbessern.
4. mehrsprachige Anwendung
   Entwicklung globaler KI-Anwendungen und Anpassung an mehrsprachige Benutzer mit i18n-Unterstützung.

QA

1. Was ist der Unterschied zwischen CozeLoop und Coze Studio?
   CozeLoop konzentriert sich auf das Debugging, die Auswertung und die Überwachung von Cue-Words zur Optimierung der Smartbody-Leistung; Coze Studio konzentriert sich auf die Smartbody-Entwicklung und die Workflow-Orchestrierung.
2. Wie erhalte ich die OAuth-Parameter?
   Interviews https://loop.coze.cn/console/enterprise/personal/open/oauth/appsWenn Sie eine OAuth-Anwendung erstellen möchten, erstellen Sie eine OAuth-Anwendung und holen Sie sich den Schlüssel.
3. Welche Modelle werden unterstützt?
   Unterstützt Modelle wie OpenAI, Volcano Engine Ark, usw., manuelle Konfiguration erforderlich, siehe https://github.com/coze-dev/cozeloop/wiki/5.-Model-configuration.
4. Ist Programmiererfahrung erforderlich?
   Die Konsole unterstützt den No-Code-Betrieb, und programmierende Benutzer können die Funktionen über das SDK anpassen.
5. Wie kann ich der Gemeinschaft beitreten?
   Scannen mit Flying Book README.md Treten Sie der technischen Austauschgruppe CozeLoop bei.