Future AGI: Beobachtungs- und Bewertungsplattform für KI-Anwendungen

Future AGI ist eine umfassende KI-Lebenszyklusmanagement-Plattform, die Entwicklern und Unternehmen helfen soll, ihre KI-Anwendungen zu erstellen, zu bewerten, zu überwachen und zu optimieren, insbesondere solche, die Large Language Models (LLMs) verwenden. Die Plattform bietet eine vollständige Suite von Tools, von der Datengenerierung und Modellexperimenten bis hin zur Echtzeitüberwachung in Produktionsumgebungen, mit dem Hauptziel, die Herausforderungen in Bezug auf Genauigkeit, Zuverlässigkeit und Sicherheit von KI-Anwendungen, insbesondere Intelligenz, zu bewältigen. Mit automatisierten Evaluierungstools, detaillierter Verhaltensverfolgung (Observability) und Sicherheitsleitplanken arbeitet Future AGI daran, die Entwicklungszeit von KI-Anwendungen von Tagen auf Minuten zu verkürzen und Teams dabei zu helfen, zuverlässige KI-Funktionen schneller auf den Markt zu bringen.

Funktionsliste

• Verwaltung von Datensätzen. Unterstützt das Hochladen vorhandener Daten (CSV/JSON-Format) oder die Generierung hochwertiger synthetischer Daten für ein umfassendes Training und Testen von KI-Modellen und deckt damit eine breite Palette von Randfällen ab.
• Experiment. Bietet eine kodierungsfreie visuelle Schnittstelle zum Testen, Vergleichen und Analysieren mehrerer AI-Workflow-Konfigurationen und zum Ermitteln der besten Lösung auf der Grundlage integrierter oder benutzerdefinierter Bewertungsmetriken.
• Auswerten. Sie ist in der Lage, die Leistung von KI-Intelligenzen automatisch zu bewerten und zu messen, die Ursache von Problemen zu ermitteln und durch umsetzbares Feedback kontinuierlich zu verbessern. Die Plattform verfügt über ein selbst entwickeltes Bewertungsmodell, das die gängigen Modelle der Branche in einer Vielzahl von Szenarien übertrifft.
• Optimieren und Verbessern. Auf der Grundlage der Bewertungsergebnisse oder des Nutzerfeedbacks kann das System die Prompt-Worte (Prompt) automatisch optimieren und verfeinern, um die Gesamtleistung der KI-Anwendung zu verbessern.
• Überwachen und schützen. Die Leistungskennzahlen der Anwendungen werden in Echtzeit in Produktionsumgebungen verfolgt und liefern Erkenntnisse zur Diagnose potenzieller Probleme. Gleichzeitig liefert die Plattform Sicherheitsmetriken, mit denen die Generierung unsicherer Inhalte mit sehr geringer Latenzzeit gestoppt werden kann, um Systeme und Benutzer zu schützen.
• Individuelle und multimodale Unterstützung. Die Auswertungsfunktionen decken ein breites Spektrum an Datentypen ab, darunter Text, Bild, Audio und Video, und ermöglichen eine genaue Identifizierung und Rückmeldung von Fehlern in multimodalen Anwendungen.
• Nahtlos integrieren. Entwicklerorientiert und leicht in bestehende Arbeitsabläufe integrierbar mit Unterstützung für OpenAI, die Anthropisch, LangChain, Vertex AI und andere branchenübliche Tools und Frameworks.

Hilfe verwenden

Die Future AGI Plattform wurde mit dem Ziel entwickelt, den Prozess der Entwicklung und Wartung von KI-Anwendungen zu vereinfachen. Die Nutzer können dies über das SDK (Software Development Kit) oder direkt über die Visualisierungsoberfläche tun. Im Folgenden wird der grundlegende Prozess für den Zugriff auf die Observability-Funktionen von Future AGI auf der Grundlage des Python-SDK beschrieben, das der empfohlene Ausgangspunkt für den Einstieg in die Plattform ist.

Schritt 1: Vorbereitung und Installation der Umgebung

Zunächst müssen Sie die von Future AGI bereitgestellte Python-Bibliothek installieren. Diese Bibliothek wird verwendet, um alle Operationen im Zusammenhang mit dem Large Language Model (LLM) in Ihrer KI-Anwendung zu verfolgen und aufzuzeichnen. Öffnen Sie Ihr Terminal oder Kommandozeilentool und führen Sie den folgenden pip-Befehl aus:

# 假设库名为 traceai-openai，具体请参照官方文档
pip install traceAI-openai

Schritt 2: API-Schlüssel abrufen und konfigurieren

Damit Ihre Anwendung mit der Future AGI-Plattform kommunizieren kann, benötigen Sie drei wichtige Anmeldeinformationen:OPENAI_API_KEY(wenn Sie OpenAI-Modelle verwenden),FI_API_KEYim Gesang antwortenFI_SECRET_KEYDie letzten beiden Schlüssel müssen nach dem Einloggen in die Future AGI Plattform abgefragt werden. Die beiden letztgenannten Schlüssel müssen in den Projekteinstellungen nach der Anmeldung bei der Future AGI-Plattform abgefragt werden.

Nachdem Sie die Schlüssel erhalten haben, setzen Sie sie am besten als Umgebungsvariablen, um zu vermeiden, dass sensible Informationen in Ihrem Code fest codiert werden.

export OPENAI_API_KEY="your-openai-api-key"
export FI_API_KEY="your-futureagi-api-key"
export FI_SECRET_KEY="your-futureagi-secret-key"

Schritt 3: Integrieren Sie Tracking in Ihren Code

Nachdem Sie den Schlüssel konfiguriert haben, müssen Sie den Tracking-Dienst von Future AGI in Ihrem Python-Code initialisieren. Dies erfordert in der Regel nur ein paar Zeilen Code.

1. Importieren der erforderlichen Module:
   Sie müssen beginnen mitfi_instrumentationImportieren aus Bibliothekenregisterim Gesang antwortenProjectTypeund importierenosBibliothek, um Umgebungsvariablen zu lesen.

   import os
   from fi_instrumentation import register, ProjectType
   from traceai_openai import OpenAIInstrumentor
   from openai import OpenAI
   

2. Registrierung und Initialisierung des Ortungsdienstes:
   Rufen Sie zu Beginn der Ausführung Ihres CodesregisterFunktion. Sie müssen einen Projektnamen für das Projekt, an dem Sie arbeiten, angeben und den Projekttyp aufOBSERVE(Beobachtung). Dies gibt einetrace_providerObjekt.

   # 确保环境变量已设置
   # os.environ["OPENAI_API_KEY"] = "your-openai-api-key"
   # os.environ["FI_API_KEY"] = "your-futureagi-api-key"
   # os.environ["FI_SECRET_KEY"] = "your-futureagi-secret-key"
   trace_provider = register(
   project_type=ProjectType.OBSERVE,
   project_name="my-first-openai-project", # 给你的项目起个名字
   )
   

3. Injektions-Tracker:
   Als nächstes nehmen Sie dietrace_providerin den LLM-Client, den Sie verwenden, injiziert.Instrumentor.

   OpenAIInstrumentor().instrument(tracer_provider=trace_provider)
   

   Nach Ausführung dieser Codezeile werden alle über den OpenAI-Client gestellten Anfragen und erhaltenen Antworten automatisch verfolgt und relevante Daten (z. B. Latenz, Token-Verbrauch, Ein- und Ausgaben usw.) an Ihr Future AGI Dashboard gesendet.

Schritt 4: Führen Sie Ihren AI-Anwendungscode aus

Jetzt können Sie den OpenAI-Client wie gewohnt verwenden. Alle API-Aufrufe werden automatisch protokolliert.

Ein Beispiel für den Aufruf des Modells GPT-4o zur Bilderkennung:

# 创建OpenAI客户端实例
client = OpenAI()
# 调用API
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "这张图片里有什么?"},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
},
],
},
],
)
# 打印结果
print(response.choices[0].message.content)

Schritt 5: Anzeigen und Analysieren auf der Future AGI-Plattform

Sobald der Code läuft, melden Sie sich auf der Website von Future AGI an und gehen Sie zu dem von Ihnen erstellten Projekt. Sie sehen ein visuelles Dashboard mit den vollständigen Link-Trace-Informationen für den API-Aufruf, den Sie gerade gemacht haben.

• Tracing Dashboard. Sie können detaillierte Informationen über jede LLM-Interaktion anzeigen, einschließlich Eingabeaufforderungen, Modellausgaben, aufgerufene Funktionen, Zeitaufwand und Kosten.
• Erkennung von Fehlern und Anomalien. Die Plattform kennzeichnet automatisch fehlgeschlagene Anrufe oder anormales Verhalten, und Sie können Warnmeldungen einrichten, die Sie benachrichtigen, wenn die Latenzzeit zu hoch ist, die Kosten überschritten oder die Bewertungskennzahlen nicht eingehalten werden.
• Benutzerdefinierte Auswertung. Sie können auf der Plattform automatische Bewertungsregeln einrichten. So können Sie beispielsweise ein Bewertungselement erstellen, um zu prüfen, ob die Antwort eines Modells höflich ist oder ob sie schädliche Informationen enthält. Die Ergebnisse dieser Beurteilungen werden zusammen mit den Tracking-Daten angezeigt, sodass Sie einen besseren Einblick in die Leistung des Modells erhalten.

Mit diesen Schritten können Sie beginnen, Ihre KI-Anwendungen systematisch zu überwachen und zu verbessern, indem Sie die leistungsstarken Beobachtungsfunktionen von Future AGI nutzen.

Anwendungsszenario

1. Entwicklung und Fehlersuche bei KI-Anwendungen
   Während der Entwicklungsphase müssen die Entwickler ihre KI-Intelligenzen ständig testen und iterieren. future AGI bietet eine integrierte Umgebung für das Rapid Prototyping und den systematischen Vergleich der Vor- und Nachteile verschiedener Hinweise oder Modellkonfigurationen, um durch seine leistungsstarken Evaluierungsfunktionen die beste Lösung zu finden, was die Zeit für Debugging und Optimierung erheblich reduziert.
2. Leistungsüberwachung der Produktionsumgebung
   Wenn KI-Anwendungen in Produktionsumgebungen eingesetzt werden, kann ihre Leistung durch Datenabweichungen oder die Vielzahl von Benutzereingaben beeinträchtigt werden. Die Observe & Protect-Funktion von future AGI ermöglicht eine 24/7-Echtzeitüberwachung, die wichtige Geschäftsmetriken und Modellqualitätsindikatoren verfolgt und die O&M-Teams alarmiert, sobald ein Leistungsabfall oder ein Sicherheitsrisiko festgestellt wird. Sobald ein Leistungsabfall, eine Zunahme von Täuschungen oder ein Sicherheitsrisiko festgestellt wird, wird eine Warnung versandt, damit das Betriebsteam eingreifen kann, bevor die Auswirkungen spürbar werden.
3. Compliance und Sicherheit für Enterprise AI
   Für Branchen mit hoher Compliance wie das Finanz- und Gesundheitswesen ist es von entscheidender Bedeutung, dass die KI-Ausgabe sicher und unvoreingenommen ist und die Privatsphäre nicht gefährdet. Das Protect-Modul von Future AGI fungiert als Sicherheitszaun, der schädliche oder nicht konforme Ausgaben in Echtzeit herausfiltert und gleichzeitig alle Interaktionen zu Prüfzwecken aufzeichnet, um Unternehmen beim Aufbau vertrauenswürdiger KI-Systeme zu unterstützen.
4. Automatisierte Erstellung und Bewertung von Inhalten
   Für Teams, die KI für die Erstellung von Inhalten nutzen (z. B. Artikelzusammenfassungen, Marketingtexte, Codegenerierung), ist die Bewertung der Qualität der generierten Inhalte ein zentrales Problem. Future AGI unterstützt kundenspezifische Bewertungsmetriken, die "gute Kriterien" in natürlicher Sprache definieren (z. B. ob die Zusammenfassung die Kernidee erfasst) und eine automatisierte und skalierte Bewertung der Qualität der generierten Inhalte ermöglichen. Dies ermöglicht eine automatisierte, groß angelegte Bewertung der Qualität der generierten Inhalte und beseitigt die Ineffizienz manueller Stichproben.

QA

1. Für welche Art von Benutzer ist die Future AGI Platform gedacht?
   Die Plattform richtet sich an KI-Entwickler, Datenwissenschaftler und Technologie-Teams in Unternehmen, die für die Bereitstellung und Wartung von KI-Anwendungen verantwortlich sind. Egal, ob Sie ein einzelner Entwickler sind, der einen schnellen Prototyp erstellt, oder ein großes Unternehmensteam, das systematische Tools benötigt, um die Zuverlässigkeit von KI-Anwendungen in Produktionsumgebungen zu gewährleisten - Sie können davon profitieren.
2. Wie unterscheidet sich die Bewertungsfunktion von Future AGI von anderen Tools?
   Eine der Hauptstärken von Future AGI ist die firmeneigene Bewertungstechnologie. Sie bietet nicht nur eine Reihe von vorgefertigten Bewertungsmodellen zur Erkennung von Halluzinationen, Toxizität, Wiedergabetreue usw., sondern ermöglicht es den Benutzern auch, benutzerdefinierte Bewertungsmetriken in einfacher natürlicher Sprache zu erstellen. Darüber hinaus sind die Bewertungsmodelle so optimiert, dass sie kostengünstiger und schneller sind und bei mehreren Benchmarks eine höhere Genauigkeit aufweisen als allgemeine Makromodelle wie OpenAI und Gemini.
3. Wird der Zugriff auf Future AGI große Auswirkungen auf die Leistung meiner Anwendung haben?
   Nein. Das SDK und die Integrationsmethoden von Future AGI sind auf Leistung optimiert. So beträgt beispielsweise die Verarbeitungslatenz der Schutzzaunfunktion "Protect" weniger als 50 Millisekunden, mit minimalen Auswirkungen auf die Benutzererfahrung. Die Datenverfolgung und Telemetrie erfolgt häufig asynchron und blockiert nicht die Kernanwendungslogik.
4. Benötige ich einen großen "goldenen Datensatz" oder eine manuelle Beschriftung, um die Auswertungsfunktion zu nutzen?
   Nein. Ein Hauptmerkmal von Future AGI ist seine "unbeaufsichtigte" Evaluierungsfunktion, die Fehler in der Ausgabe ohne Bezug auf eine Antwort oder einen "goldenen Datensatz" aufspürt. Die Plattform unterstützt auch die Generierung synthetischer Daten, um verschiedene Testsätze zu erstellen und so die Abhängigkeit von manuell beschrifteten Daten zu verringern.