Anannas: ein einziges API-Gateway für den kostenlosen Zugang zu mehr als 500 KI-Modellen

Anannas AI ist ein einheitliches API-Gateway. Es bietet Nutzern über eine einzige API Zugang zu mehr als 500 groß angelegten Sprachmodellen. Diese Modelle stammen von verschiedenen Anbietern wie OpenAI, Anthropic, Mistral, Gemini und DeepSeek. Die Plattform bietet ausfallsichere Routing-Funktionen. Sie kontrolliert die Kosten und gibt sofortige Einblicke in die Nutzung. Anannas AI unterstützt die Integration mit Langfuse, um eine zweistufige Beobachtung zu ermöglichen. Anannas AI verfolgt Gateway-Metriken, während Langfuse Anwendungs-Tracing und Debugging-Prozesse erfasst. Die Plattform hat einen Overhead von weniger als einer Millisekunde und ist für Produktionsumgebungen geeignet.Anannas AI wurde von einem kleinen Unternehmen mit 2 bis 10 Mitarbeitern entwickelt. Der Schwerpunkt liegt auf der kundenspezifischen IT-Softwareentwicklung. Es hilft Entwicklern, die Verwendung mehrerer SDKs und APIs zu vermeiden. Die Plattform wurde kürzlich eingeführt und hat mehr als 2 Milliarden Token verarbeitet. anannas AI nimmt an Veranstaltungen wie Nouscon teil, um die Open-Source-Forschung zu unterstützen.

Funktionsliste

• Einfacher API-Zugang: Verbindung zu mehr als 500 LLM-Modellen über eine einzige API, darunter Modelle von Anbietern wie OpenAI, Anthropic, Mistral, Gemini, DeepSeek und Nebius.
• Ausfallsicheres Routing: Leitet Anfragen automatisch an das beste Modell oder den besten Anbieter weiter und gewährleistet so einen unterbrechungsfreien Service.
• Kostenkontrolle: Überwachen und begrenzen Sie Ihre Ausgaben, um Ihre Budgets zu verwalten und unerwartete Kosten zu vermeiden.
• Sofortige Einblicke in die Nutzung: Dashboards zeigen Ausgaben, Token-Nutzung, API-Anfragen und jüngste Aktivitäten, mit Daten nach Tag und Monat.
• Zweistufige Beobachtbarkeit: integrierte Langfuse-, Tracking-Gateway-Metriken und Anwendungs-Tracing, um einen vollständigen Überblick von der Modellauswahl bis zur Produktionsausführung zu erhalten.
• Overhead im Bereich von weniger als einer Millisekunde: Die Verarbeitung mit geringer Latenz gewährleistet eine schnelle Reaktion bei Echtzeitanwendungen.
• Integrationsunterstützung: Integrieren Sie Tools wie Pipecat und Langfuse, um die Funktionalität zu erweitern.
• Produktionsumgebung: Entwickelt für die Skalierung und Unterstützung von Anfragen mit hohem Verkehrsaufkommen, wie z. B. die kürzlich verarbeiteten 2 Milliarden Token.

Hilfe verwenden

Anannas AI erfordert keinen komplizierten Installationsprozess. Es handelt sich um eine Cloud-basierte Plattform, für die sich die Nutzer über eine Webseite anmelden und nutzen können. Besuchen Sie zunächst https://anannas.ai/. Klicken Sie auf die Schaltfläche "Sign Up" (Anmelden) und geben Sie Ihre E-Mail und Ihr Passwort ein, um ein Konto zu erstellen. Nachdem Sie die E-Mail verifiziert haben, melden Sie sich beim Dashboard an. Das Dashboard ist die Hauptschnittstelle, auf der Ihre Nutzungsdaten angezeigt werden.

Um die Funktion "Einfacher API-Zugang" nutzen zu können, müssen Sie sich zunächst einen API-Schlüssel besorgen. Auf dem Dashboard finden Sie den Abschnitt "API-Schlüssel". Klicken Sie auf "Neuen Schlüssel generieren" und ein Schlüssel wird generiert. Anannas AI ist mit dem SDK von OpenAI kompatibel, so dass Sie es so aufrufen können, als ob Sie die OpenAI-API verwenden würden. Aber es kann zu anderen Modellen routen.

Installieren Sie zum Beispiel die OpenAI-Bibliothek in Python: pip install openai. Importieren Sie dann die Bibliothek und richten Sie den Client ein: from openai import OpenAI. client = OpenAI(api_key="your Anannas API key ", base_url="https://api.anannas.ai/v1″). Jetzt können Sie das Modell aufrufen. Schließen Sie zum Beispiel den Chat ab: response = client.chat.completions.create(model="gpt-4o", messages=[{"role". "Benutzer", "Inhalt": "Hallo"}]). Hier kann das Modell jedes unterstützte Modell sein, z. B. "claude-3-opus" oder "gemini-pro".

Die ausfallsichere Weiterleitung ist die Hauptfunktion. Richten Sie im Dashboard Regeln für die Weiterleitung ein. Gehen Sie zum Abschnitt "Routing" und fügen Sie Regeln hinzu. Wählen Sie z. B. das bevorzugte Modell aus, und wenn es nicht verfügbar ist, wechseln Sie zum alternativen Modell. Die Regeln basieren auf den Kosten, der Geschwindigkeit oder der Verfügbarkeit. Nach dem Speichern werden die Regeln automatisch durch den API-Aufruf angewendet. Test-Routing: Geben Sie eine Aufforderung auf der Spielplatzseite ein, wählen Sie ein Modell aus und sehen Sie sich die Antwort und den Routing-Pfad an.

Kostenkontrollfunktionen werden im Abschnitt "Abrechnung" eingerichtet. Fügen Sie ein Budgetlimit hinzu, z. B. eine monatliche Obergrenze. Das System überwacht die Ausgaben und sendet eine Warnung, wenn das Limit erreicht wird. Detaillierte Berichte: Klicken Sie auf "Usage Insights", um Diagramme zu sehen, die den Token-Input/Output, die Anzahl der Anfragen und die Kosten anzeigen. Die Daten werden in Echtzeit aktualisiert, um die Nutzung zu optimieren.

Sofortiger Einblick in die Nutzung auf der Startseite des Dashboards. Unter "Aktuelle Aktivitäten" werden die letzten API-Aufrufe mit Zeit, Modell und Status aufgelistet. Klicken Sie auf einen Eintrag, um detaillierte Protokolle wie Eingabeaufforderungen und Ausgabetext anzuzeigen. Dies hilft bei der Fehlersuche.

Um Langfuse zu integrieren, registrieren Sie zunächst ein Konto bei Langfuse. Holen Sie sich die öffentlichen und privaten Schlüssel von Langfuse. In Anannas Dashboard gehen Sie zu "Integrationen" und wählen Langfuse aus. Geben Sie den Langfuse-Schlüssel ein und aktivieren Sie die Integration. Jetzt werden Ihre Anrufe an Langfuse Traces gesendet. Das Langfuse Dashboard zeigt Anwendungs-Traces wie Alarmketten und Fehler an. anannas trackt Metriken auf Gateway-Ebene wie Latenz und Routing-Entscheidungen. Die zweistufige Ansicht ist vom Modell bis zur Anwendung durchgängig sichtbar.

Der Overhead im Bereich von weniger als einer Millisekunde erfolgt automatisch. Es ist keine Konfiguration erforderlich und die Plattform optimiert die Infrastruktur. Ideal für Hochlastszenarien wie die 2 Milliarden Token, die kürzlich verarbeitet wurden.

Integration mit Pipecat für spezielle Anwendungen wie z.B. Sprachverarbeitung. Verwenden Sie Anannas als LLM-Anbieter im Pipecat-Code. Installieren Sie das Paket pipecat-anannas: pip install pipecat-anannas. Konfigurieren Sie dann den Anannas-Client in Ihrem Code.

Verwendung in der Produktionsumgebung: Sicherung von API-Schlüsseln. Verwenden Sie Umgebungsvariablen zum Speichern von Schlüsseln. Überwachen Sie Quoten und kontaktieren Sie den Support für Upgrade-Pläne, wenn der Datenverkehr hoch ist.

Wenn Sie auf Probleme stoßen, rufen Sie die Dokumentationsseite auf. Der Link zur Dokumentation befindet sich am oberen Rand des Dashboards. Dort finden Sie eine API-Referenz, Beispielcode und FAQs. Das Support-Team antwortet per E-Mail oder über Discord.

Gesamtablauf: Registrierung → API-Schlüssel generieren → Routing und Integration konfigurieren → API im Code aufrufen → Dashboard überwachen. Die Plattform ist einfach zu bedienen und eignet sich für Entwickler, die KI-Anwendungen erstellen möchten, ohne sich mit mehreren Anbietern auseinandersetzen zu müssen.

(Wortzahl etwa 1050)

Anwendungsszenario

1. Entwicklung von AI-Anwendungen
   Entwickler erstellen Chatbots mit Anannas Wechselmodellen, um die Leistung zu testen, ohne den Code zu ändern. Das Routing stellt sicher, dass das beste Modell verfügbar ist und die Kosten unter dem Budget bleiben.
2. Bereitstellung der Produktionsumgebung
   Das Unternehmen betreibt umfangreiche KI-Dienste und wickelt mit Anannas hochfrequentierte Anfragen ab. Die Integration mit Langfuse behebt Probleme und Erkenntnisse helfen bei der Optimierung der Ausgaben.
3. Modellierungsexperiment
   Der Forscher testete verschiedene LLMs, z. B. den Wechsel von OpenAI zu Mistral. Dashboards zeigen Vergleichsdaten und unterstützen schnelle Iterationen.
4. Integration von Drittanbieter-Tools
   Der Aufbau von Speech AI in Verbindung mit Pipecat.Anannas bietet einen einheitlichen Zugang zur Vereinfachung der Unterstützung mehrerer Modelle.
5. Kostenoptimierung
   Startup-Teams verwalten AI-Ausgaben. Aufrechterhaltung der Servicequalität mit Budget-Warnungen und Routing zur Auswahl günstiger Modelle.

QA

1. Was ist Anannas AI?
   Es handelt sich um ein API-Gateway, das Nutzern über eine einzige Schnittstelle Zugang zu mehr als 500 KI-Modellen bietet.
2. Wie erhalte ich einen API-Schlüssel?
   Melden Sie sich im Dashboard an, gehen Sie zum Abschnitt API-Schlüssel und generieren Sie einen neuen Schlüssel.
3. Welche Modelle werden unterstützt?
   Enthält Modelle von Anbietern wie OpenAI, Anthropic, Mistral, Gemini, DeepSeek und anderen.
4. Wie richte ich das Routing ein?
   Fügen Sie dem Abschnitt Routing Regeln hinzu, um Modelle auf der Grundlage von Kosten oder Verfügbarkeit auszuwählen.
5. Wie funktioniert die Integration von Langfuse?
   Geben Sie den Langfuse-Schlüssel unter Integrationen ein, um die automatische Verfolgung zu aktivieren.
6. Gibt es einen kostenlosen Plan?
   Ja, es gibt eine Testversion, Unterstützung für die grundlegende Nutzung, Bezahlung auf der Grundlage des Datenverkehrs.
7. Wie kann ich die Nutzung überwachen?
   Das Dashboard zeigt in Echtzeit aktualisierte Daten zu Ausgaben, Token und Anfragen an.
8. Für welche Nutzer?
   Entwickler, Forscher und Unternehmen für die Integration und Optimierung von KI.