Xiaozhi MCP Client: ein plattformübergreifender KI-Assistent mit Sprach- und Textinteraktion

Xiaozhi Client ist eine plattformübergreifende KI-Assistenten-App, die auf Basis des Flutter-Frameworks entwickelt wurde und mehrere Plattformen wie Android, iOS, Web, Windows, macOS und Linux unterstützt. Sie ermöglicht Sprachinteraktion und Textdialog in Echtzeit über WebSocket-Technologie, sodass Benutzer jederzeit und überall mit dem KI-Assistenten kommunizieren können. Das Projekt wird auf GitHub gehostet, vom Entwickler shenjingnan gepflegt und basiert auf dem xiaozhi (xiaozhi-Server)-Ökosystem, das eine flexible Dienstkonfiguration und Unterstützung mehrerer Plattformen bietet. Der Client unterstützt eine Vielzahl von KI-Dienstanbietern, mit Spracherkennung, Textdialog und Smart-Device-Steuerung, geeignet für einzelne Benutzer und Entwickler. Die Benutzeroberfläche ist einfach und flüssig und passt sich an dunkle und helle Themen an, um den Benutzern ein bequemes interaktives Erlebnis zu bieten.

Funktionsliste

• Sprachinteraktion in Echtzeit: unterstützt den Dialog mit dem KI-Assistenten per Sprache, mit Echounterdrückung und Sprachunterbrechungsfunktionen.
• Textdialog: Ermöglicht eine reibungslose Texteingabe und -ausgabe, geeignet für schnelle Abfragen oder komplexe Dialoge.
• Multiplattform-Unterstützung: Ein einziger Satz Code läuft auf Android, iOS, Web, Windows, macOS und Linux.
• Verwaltung der Dienstkonfiguration: Unterstützt die Konfiguration mehrerer Xiaozhi-Dienstadressen, WebSocket-URLs, Token-Authentifizierung und benutzerdefinierter MAC-Adressen.
• Dify Service Integration: Unterstützt die Konfiguration mehrerer Dify-Dienste zur Verwaltung von API-Schlüsseln und Server-URLs.
• Modellauswahl und Parameteranpassung: Unterstützt OpenAI-Schnittstelle, Qwen3 Modell Umschaltung Denken Modus und Temperatur und andere Parameter Konfigurationen.
• Dark/Light Theme: Passen Sie verschiedene Anzeigemodi an, um die Benutzererfahrung zu verbessern.
• Verbesserte Spracherkennung: Optimieren Sie die Genauigkeit der Spracherkennung und unterstützen Sie gemischte Text- und Sprachkonversationen.
• OTA-Autoregistrierung: Unterstützt die automatische Registrierung von Geräten und vereinfacht den Bereitstellungsprozess.
• Intelligente Gerätesteuerung: integrierte MIot-Funktion, unterstützt die Steuerung von Mi Home-Geräten.
• Live2D-Modellwechsel: Eingebaute kostenlose Live2D-Modelle, die den kostenlosen Import und den Wechsel zwischen mehreren Modellen unterstützen.
• Innovativer Stimmungsmodus: Passen Sie die Interaktion an die Stimmung des Benutzers an, um das persönliche Erlebnis zu verbessern.

Hilfe verwenden

Einbauverfahren

Der Xiaozhi-Client wurde auf der Grundlage von Flutter entwickelt. Sie müssen die Flutter-Umgebung installieren, um die Anwendung ausführen oder erstellen zu können. Im Folgenden finden Sie die detaillierten Installationsschritte:

1. Installieren der Flutter-Umgebung
   • Besuchen Sie die offizielle Flutter-Website, um das Flutter-SDK herunterzuladen und zu installieren (Windows, macOS, Linux unterstützt).
   • Konfigurieren Sie Umgebungsvariablen, um sicherzustellen, dass die Befehlszeile ausgeführt werden kannflutterBefehl.
   • in Bewegung seinflutter doctorPrüfen Sie, ob die Umgebung korrekt konfiguriert ist und installieren Sie fehlende Abhängigkeiten (z. B. Android SDK oder Xcode).
2. Klonprojekt
   • Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus, um den Xiaozhi-Client-Code zu klonen:

     git clone https://github.com/shenjingnan/xiaozhi-client.git
     

   • Rufen Sie den Projektkatalog auf:

     cd xiaozhi-client
     

3. Installation von Abhängigkeiten
   • Installieren Sie die notwendigen Flutter-Abhängigkeiten, indem Sie den folgenden Befehl im Projektverzeichnis ausführen:

     flutter pub get
     

4. Ausführen der Anwendung
   • Schließen Sie Ihr Gerät an (Android/iOS-Emulator oder echtes Telefon) und führen Sie den folgenden Befehl aus, um die App zu starten:

     flutter run
     

   • Die App wird im Debug-Modus ausgeführt, und die Ergebnisse können auf dem Gerät angezeigt werden.
5. Erstellen einer Freigabe
   • Erstellen Sie APKs für Android-Geräte:

     flutter build apk --release
     

   • IPA für iOS-Geräte erstellen (muss unter macOS laufen):

     flutter build ios --release
     

   • Gebaut für die Web-Plattform:

     flutter build web --release
     

   • Hinweis: Sobald die iOS-Kompilierung abgeschlossen ist, müssen Sie in den Geräteeinstellungen die Netzwerkberechtigungen aktivieren.

Verwendung der Hauptfunktionen

Die Hauptfunktion des Xiaozhi-Clients ist die Sprach- und Textinteraktion, und im Folgenden finden Sie eine ausführliche Bedienungsanleitung:

1. Sprachinteraktion
   • Öffnen Sie die App und tippen Sie auf das Mikrofonsymbol auf der Hauptschnittstelle, um den Sprachmodus zu aktivieren.
   • Sprechen Sie in das Gerät, und der Client erkennt die Sprache und wandelt sie in Echtzeit in Text um.
   • Der KI-Assistent generiert auf der Grundlage der Eingaben eine Sprach- oder Textantwort.
   • Wenn die Umgebung laut ist, aktivieren Sie die Echounterdrückung (in den Einstellungen), um die Erkennungsgenauigkeit zu verbessern.
   • Unterstützt die Sprachunterbrechungsfunktion: Sie können jederzeit während des Dialogs "Stopp" oder "Wiederholen" sagen, um die aktuelle Antwort zu unterbrechen und neu einzugeben.
2. Textueller Dialog
   • Geben Sie eine Frage oder Anweisung in das Eingabefeld auf dem Hauptbildschirm ein und klicken Sie auf die Schaltfläche Senden.
   • Der KI-Assistent erzeugt schnell Textantworten und unterstützt die Beantwortung komplexer Fragen oder mehrere Dialogrunden.
   • Text- und Sprachmodus können gemischt werden, z. B. können Sie eine Frage per Sprache stellen und dann die Textantwort anzeigen.
3. Verwaltung der Dienstkonfiguration
   • Gehen Sie zur Seite Einstellungen und fügen Sie die Adresse des Siu Chi-Dienstes (WebSocket-URL) hinzu.
   • Geben Sie ein Token zur Authentifizierung ein, um eine sichere Verbindung zum Server zu gewährleisten.
   • Mehrere Dify-Dienste können durch Eingabe des API-Schlüssels und der Server-URL sowie durch Auswahl des gewünschten KI-Modells (z. B. OpenAI oder Qwen3) konfiguriert werden.
   • Anpassung von Modellparametern (z. B. Temperatur) zur Kontrolle der Kreativität oder Genauigkeit der Antworten.
4. Intelligente Gerätesteuerung
   • Aktivieren Sie die MIot-Funktion in den Einstellungen, um Mi-Geräte (z. B. intelligente Lampen oder Klimaanlagen) zu verbinden.
   • Verwenden Sie Sprachbefehle (z. B. "Schalten Sie das Licht im Wohnzimmer ein") oder Texteingaben zur Steuerung des Geräts.
   • Stellen Sie sicher, dass sich das Gerät und der Client in der gleichen Netzwerkumgebung befinden.
5. Live2D-Modellwechsel
   • Die App verfügt über zwei kostenlose Live2D-Modelle, zwischen denen Sie auf der Einstellungsseite wechseln können.
   • Der Import von benutzerdefinierten Live2D-Modellen wird unterstützt: Legen Sie die Modelldatei in das angegebene Verzeichnis (siehe Dokumentation) und wählen Sie sie in den Einstellungen aus.
   • Die Modelle werden zusammen mit den Dialogen dynamisch angezeigt, um den interaktiven Spaß zu erhöhen.
6. Umschalten des Themas
   • Wählen Sie in den Einstellungen ein dunkles oder helles Thema, um es an unterschiedliche Lichtverhältnisse anzupassen.
   • Der Themenwechsel erfolgt in Echtzeit, ein Neustart der App ist nicht erforderlich.
7. Stimmungsmodus
   • Wenn der Stimmungsmodus aktiviert ist, passt die KI den Ton der Antwort an die vom Benutzer eingegebenen emotionalen Schlüsselwörter an (z. B. "glücklich" oder "müde").
   • Wenn Sie zum Beispiel sagen: "Ich bin heute müde", antwortet die KI in einem sanfteren Ton und verbessert so das Nutzererlebnis.

caveat

• Vergewissern Sie sich, dass das Netzwerk stabil ist und dass die Sprachinteraktion eine Echtzeitverbindung zum Server erfordert.
• iOS-Benutzer müssen beim ersten Start Mikrofon- und Netzwerkberechtigungen erteilen.
• Prüfen Sie das GitHub-Repository regelmäßig auf Updates, um die neuesten Funktionen und Korrekturen zu erhalten.
• Wenn Sie den Dify-Service nutzen, müssen Sie sich auf der Dify-Plattform registrieren und vorab einen API-Schlüssel erhalten.

Anwendungsszenario

1. Täglicher Assistent
   Mit dem Xiaozhi-Client können Nutzer das Wetter abfragen, Erinnerungen einstellen oder Fragen beantworten. Vielbeschäftigte Büroangestellte können zum Beispiel schnell ihren Zeitplan überprüfen oder intelligente Geräte zu Hause per Sprachbefehl steuern.
2. Lernhilfe
   Mit der Textdialogfunktion können Studierende der KI akademische Fragen stellen und erhalten detaillierte Antworten. Die grafische Interaktionsfunktion, die die OpenAI-Schnittstelle unterstützt, eignet sich für die Analyse komplexer Dokumente oder Bilder.
3. Intelligente Haussteuerung
   Die Benutzer steuern Mi Home-Geräte über Sprach- oder Textbefehle, wie z. B. das Einschalten der Klimaanlage oder das Einstellen der Beleuchtung, was sich für die Schaffung einer intelligenten Wohnumgebung eignet.
4. Debugging für Entwickler
   Entwickler können die Dienstkonfigurationsfunktion nutzen, um verschiedene KI-Modelle und -Parameter zu testen und WebSocket-Verbindungen oder die Auswirkungen der Dify-Dienstintegration schnell zu überprüfen.

QA

1. Welche Plattformen werden von dem Xiaozhi-Client unterstützt?
   Es unterstützt Android, iOS, Web, Windows, macOS und Linux und verwendet Flutter, einen an mehrere Plattformen angepassten Code.
2. Wie lässt sich die Genauigkeit der Spracherkennung verbessern?
   Verwenden Sie es in einer ruhigen Umgebung, schalten Sie die Echounterdrückung ein, und wählen Sie in den Einstellungen ein hochwertiges Spracherkennungsmodell aus.
3. Ist Serverunterstützung erforderlich?
   Ja, Sie müssen sich mit dem xiaozhi-Server oder dem Dify-Dienst verbinden und die richtige WebSocket-URL und den API-Schlüssel konfigurieren.
4. Wie importiert man ein benutzerdefiniertes Live2D-Modell?
   Legen Sie die Modelldatei in das von der Anwendung vorgegebene Verzeichnis (siehe Dokumentation) und wählen Sie dann das importierte Modell in den Einstellungen aus.
5. Welche KI-Modelle werden unterstützt?
   Unterstützung OpenAI, Qwen3 und viele andere Modelle, können Benutzer wählen und passen Sie die Parameter in den Einstellungen.