AIRI: Selbstgehosteter virtueller KI-Begleiter mit Unterstützung für Echtzeit-Sprach- und Spielinteraktion

AIRI ist ein quelloffenes, selbstgehostetes KI-Projekt für virtuelle Begleiter, das den Nutzern anpassbare digitale Charaktere bieten soll. Es basiert auf dem Large Language Model (LLM) und unterstützt Echtzeit-Sprachchat, Spielinteraktionen (z. B. Minecraft und Factorio) und virtuelle Charakteranimation (VRM/Live2D). Benutzer können AIRI in einem Browser oder auf dem Desktop ausführen, ohne komplexe Abhängigkeiten, unter Verwendung von Webtechnologien oder lokaler GPU-Beschleunigung. Inspiriert von Neuro-sama ist es das Ziel des Projekts, einen virtuellen Begleiter zu schaffen, der mit dem Benutzer spielt, chattet und eine Vielzahl von Aufgaben ausführt.AIRI betont die Autonomie des Benutzers und unterstützt den lokalen Einsatz, um Privatsphäre und Flexibilität zu gewährleisten. Das Projekt wird von der KI-Gemeinschaft Moeru gepflegt und ständig aktualisiert, und Entwickler sind eingeladen, Beiträge zu leisten.

Funktionsliste

• Sprachinteraktion in Echtzeit: Unterstützt die Spracheingabe und -ausgabe über einen Browser oder Discord, unter Verwendung der ElevenLabs Technologie der Sprachsynthese.
• Gameplay-Interaktion: in der Lage sein, Befehle in natürlicher Sprache in Minecraft auszuführen, um Aufgaben wie Graben und Bauen zu erledigen; den Spieler in Factorio (in Entwicklung) unterstützen.
• Unterstützung virtueller Charaktere: Integrierte VRM- und Live2D-Modelle mit Animationseffekten wie automatischem Blinzeln und Sichtlinienverfolgung.
• Lokale Inferenz: Modellinferenz mit WebGPU oder lokalem NVIDIA CUDA/Apple Metal, ohne Cloud-Abhängigkeiten.
• In-Memory-Systeme: Unterstützung für lokale Datenbanken (z. B. DuckDB WASM) zur Aufzeichnung der Benutzerinteraktionen.
• Plattformübergreifende Unterstützung: läuft auf Webbrowsern, Windows und macOS.
• Entwicklerfreundlich: Bietet ein Plug-in-System zur Unterstützung von Benutzererweiterungen.

Hilfe verwenden

Einbauverfahren

Um AIRI zu verwenden, müssen Benutzer das GitHub-Repository klonen und eine einfache Konfiguration durchführen. Nachfolgend finden Sie die detaillierten Installationsschritte:

1. Klon-Lager::
   Öffnen Sie ein Terminal und geben Sie den folgenden Befehl ein, um das AIRI-Repository zu klonen:

   git clone https://github.com/moeru-ai/airi.git
   cd airi
   

2. Installation von Abhängigkeiten::
   AIRI Verwendung pnpm als Paketmanager. Stellen Sie sicher, dass Node.js 22+ installiert ist und führen Sie es aus:

   pnpm install
   

3. Umgebungsvariablen konfigurieren::
   Kopieren Sie die Beispielkonfigurationsdatei und tragen Sie die erforderlichen Informationen ein:

   cp packages/agent/.env.example packages/agent/.env.local
   

   Compiler packages/agent/.env.localfügen Sie Folgendes hinzu:

   OPENAI_API_KEY=your_openai_api_key
   OPENAI_API_BASEURL=your_openai_api_baseurl
   

   Bei Verwendung des Factorio-Moduls ist ebenfalls eine Konfiguration erforderlich:

   cp packages/factorio-wrapper/.env.example packages/factorio-wrapper/.env.local
   

   Compiler packages/factorio-wrapper/.env.localIm Folgenden finden Sie ein Beispiel für die Einrichtung eines WebSockets und einer RCON-Adresse:

   WS_SERVER_HOST=localhost
   FACTORIO_WS_HOST=localhost
   RCON_API_SERVER_HOST=localhost
   

4. Link zum Factorio-Modul (optional)::
   Wenn Sie die Factorio-Funktion verwenden, müssen Sie symbolische Links erstellen:

   ln -s /path/to/airi-factorio/packages/autorio/dist /path/to/factorio/data/autorio
   

5. AIRI ausführen::
   Wählen Sie die Betriebsart entsprechend der Plattform:
   • Browser (Software)Um die Webversion zu starten, gehen Sie zu http://localhost:5173(spezifische Ports sind abhängig von der tatsächlichen Konfiguration).
   • DesktopFührt die Desktop-Version aus, unterstützt NVIDIA CUDA- oder Apple Metal-Beschleunigung und führt sie aus:

     pnpm run start
     

Funktion Betriebsablauf

1. sprachliche Interaktion in Echtzeit

AIRI unterstützt Spracheingabe und -ausgabe über den Browser oder Discord. Benutzer müssen ElevenLabs Sprachsynthese-API konfigurieren:

• existieren .env.local Fügen Sie den ElevenLabs API-Schlüssel zur Liste hinzu.
• Nach dem Start von AIRI öffnen Sie die Browseroberfläche oder den Discord-Client und klicken auf die Schaltfläche Spracheingabe.
• Sagen Sie einen Befehl (z. B. "Hilf mir, ein Haus zu bauen"), und AIRI antwortet mit der Stimme und führt die Aufgabe aus.
• Die Sprachinteraktion unterstützt die automatische Erkennung des Sprechstatus des Benutzers und eignet sich für Echtzeit-Kommunikationsszenarien.

2. die Interaktion im Minecraft-Spiel

AIRI integriert Minecraft-Robotik, die durch natürliche Sprachbefehle gesteuert werden kann:

• Stellen Sie sicher, dass der Minecraft-Server (1.20+) läuft und konfigurieren Sie die .env.local Die Serverinformationen in der Datei

  BOT_USERNAME=your_bot_username
  BOT_HOSTNAME=localhost
  BOT_PORT=25565
  BOT_VERSION=1.20
  

• Starten Sie AIRI und verbinden Sie sich mit dem Server.
• Geben Sie einen Befehl in die Schnittstelle ein, z. B. "Grabe 10 Steine" oder "Folge mir", und AIRI führt ihn automatisch aus.
• Zu den Funktionen gehören Pfadplanung, Gegenstandsverwaltung, Kampfunterstützung und mehr. Geben Sie zum Beispiel ein: "Baue eine 3×3-Hütte" und AIRI wird automatisch Holz sammeln und den Bau abschließen.

3. virtuelle Charakteranimation

AIRI unterstützt VRM- und Live2D-Modelle, um das interaktive Erlebnis zu verbessern:

• Laden Sie eine VRM- oder Live2D-Modelldatei auf der Setup-Seite hoch.
• Das Modell führt automatisch die Juno-Funktion aus, die Animationseffekte wie automatisches Blinken und Sichtlinienverfolgung umfasst.
• Der Benutzer kann die Bewegungen des Modells über die Schnittstelle anpassen, z. B. "Blick zur Maus" oder "Augen zufällig bewegen".

4. lokale Argumentation und Datenschutz

AIRI unterstützt WebGPU-Inferenz, ohne dass Cloud-Server erforderlich sind:

• Stellen Sie sicher, dass das Gerät WebGPU unterstützt (moderne Browser wie Chrome/Edge).
• Wählen Sie in den Einstellungen ein lokales Modell (z. B. LLaMA), um die Inferenz im Browser durchzuführen.
• Desktop-Unterstützung für NVIDIA CUDA oder Apple Metal für bessere Leistung.

5. erweiterte Funktionalität

Entwickler können über das Plug-in-System weitere Funktionen hinzufügen:

• Interviews services Katalog, lesen Sie in der Dokumentation nach, um benutzerdefinierte Fähigkeiten zu erstellen.
• Beispiel: Fügen Sie ein neues Game Interaction Modul hinzu, implementieren Sie die Skill-Logik und registrieren Sie es bei AIRI.

caveat

• Stellen Sie sicher, dass das Netzwerk stabil ist und dass Sprach- und Spielefunktionen eine Verbindung mit geringer Latenz benötigen.
• Lokale Inferenz erfordert ein Hochleistungsgerät, wobei mindestens 16 GB RAM empfohlen werden.
• Prüfen Sie regelmäßig Ihr GitHub-Repository auf Updates, um die neuesten Funktionen und Korrekturen zu erhalten.

Anwendungsszenario

1. Gamemate
   AIRI kann mit Spielern in Minecraft und Factorio interagieren, um Befehle auszuführen oder Hilfe zu leisten, wenn sie einen intelligenten Begleiter suchen.
2. Virtueller Assistent
   Kommunizieren Sie mit AIRI über Sprache und Text, um alltägliche Aufgaben wie das Nachschlagen von Informationen und das Anfertigen von Notizen zu erledigen. Dies eignet sich sowohl für die persönliche Unterhaltung als auch für Arbeitssituationen.
3. Entwickler-Tests
   Entwickler können das Plug-in-System von AIRI nutzen, um KI-Modelle zu testen oder neue Funktionen für die KI-Forschung und Anwendungsentwicklung zu entwickeln.
4. Enthusiasten virtueller Charaktere
   Benutzer können VRM/Live2D-Charaktere anpassen, um persönliche digitale Begleiter für Liebhaber virtueller Charaktere zu schaffen.

QA

1. Braucht AIRI Hochleistungsgeräte?
   Die Browserversion läuft auf normalen Geräten, aber die native Inferenz erfordert einen WebGPU-fähigen Browser oder ein GPU-Gerät (z. B. ein NVIDIA/Apple-Gerät).
2. Wie gewährleisten Sie den Datenschutz?
   AIRI unterstützt die lokale Bereitstellung und Inferenz, und die Daten müssen nicht in die Cloud hochgeladen werden, um den Datenschutz zu gewährleisten.
3. Unterstützt es mehrere Sprachen?
   Ja, das AIRI-Sprachmodell unterstützt mehrere Sprachen und die Sprachsynthese unterstützt eine mehrsprachige Ausgabe.
4. Wie kann ich mich an der Entwicklung beteiligen?
   Besuchen Sie das GitHub-Repository, reichen Sie einen Pull Request ein oder beteiligen Sie sich an der Telegram/Discord-Diskussion in der Moeru AI Community.