Xiaozhi MCP Client: um assistente de IA multiplataforma com suporte à interação de voz e texto

O Xiaozhi Client é um aplicativo de assistente de IA multiplataforma desenvolvido com base na estrutura Flutter, compatível com várias plataformas, como Android, iOS, Web, Windows, macOS e Linux. Ele consegue interação de voz em tempo real e diálogo de texto por meio da tecnologia WebSocket, para que os usuários possam se comunicar com o assistente de IA a qualquer hora e em qualquer lugar. O projeto está hospedado no GitHub, mantido pelo desenvolvedor shenjingnan, e é baseado no ecossistema xiaozhi (xiaozhi-server), que oferece configuração de serviço flexível e suporte multiplataforma. O cliente oferece suporte a vários provedores de serviços de IA, com reconhecimento de voz, diálogo de texto e controle de dispositivo inteligente, adequado para usuários individuais e desenvolvedores. A interface é simples e suave, adaptando-se a temas de cores escuras e claras para oferecer aos usuários uma experiência interativa conveniente.

Lista de funções

• Interação de voz em tempo real: permite que os usuários dialoguem com o assistente de IA por voz, com funções de cancelamento de eco e interrupção de voz.
• Diálogo de texto: fornece entrada e saída de texto suave, adequado para consultas rápidas ou diálogos complexos.
• Suporte a várias plataformas: um conjunto de códigos é executado no Android, iOS, Web, Windows, macOS e Linux.
• Gerenciamento de configuração de serviço: suporta a configuração de vários endereços de serviço Xiaozhi, URLs de WebSocket, autenticação de token e endereços MAC personalizados.
• Integração do serviço Dify: suporta a configuração de vários serviços Dify para gerenciar chaves de API e URLs de servidor.
• Seleção de modelos e ajuste de parâmetros: suporta a interface OpenAI, o modo de pensamento de comutação do modelo Qwen3, a temperatura e outras configurações de parâmetros.
• Tema escuro/claro: adapte diferentes modos de exibição para aprimorar a experiência do usuário.
• Reconhecimento de fala aprimorado: otimiza a precisão do reconhecimento de fala e oferece suporte a conversas mistas de texto e fala.
• Registro automático de OTA: suporta o registro automático de dispositivos, simplificando o processo de implementação.
• Controle de dispositivo inteligente: função MIot integrada, suporte para controlar dispositivos Mi Home.
• Troca de modelo Live2D: modelos Live2D gratuitos integrados, suporte à importação gratuita e troca de vários modelos.
• Modo de humor inovador: ajuste a interação de acordo com o humor do usuário para aprimorar a experiência personalizada.

Usando a Ajuda

Processo de instalação

O cliente Xiaozhi foi desenvolvido com base no Flutter, e você precisa instalar o ambiente Flutter para executar ou criar o aplicativo. Veja a seguir as etapas detalhadas de instalação:

1. Instalando o ambiente do Flutter
   • Visite o site oficial do Flutter para fazer o download e instalar o Flutter SDK (compatível com Windows, macOS e Linux).
   • Configure as variáveis de ambiente para garantir que a linha de comando possa ser executadaflutterComando.
   • estar em movimentoflutter doctorVerifique se o ambiente está configurado corretamente e instale as dependências ausentes (por exemplo, Android SDK ou Xcode).
2. projeto de clonagem
   • Abra um terminal e execute o seguinte comando para clonar o código do cliente Xiaozhi:

     git clone https://github.com/shenjingnan/xiaozhi-client.git
     

   • Vá para o catálogo de projetos:

     cd xiaozhi-client
     

3. Instalação de dependências
   • Instale as dependências necessárias do Flutter executando o seguinte comando no diretório do projeto:

     flutter pub get
     

4. Executar o aplicativo
   • Conecte seu dispositivo (emulador de Android/iOS ou telefone real) e execute o seguinte comando para iniciar o aplicativo:

     flutter run
     

   • O aplicativo será executado no modo de depuração, e os resultados poderão ser visualizados no dispositivo.
5. Criação de uma versão
   • Crie APKs para dispositivos Android:

     flutter build apk --release
     

   • Criar IPA para dispositivos iOS (precisa ser executado no macOS):

     flutter build ios --release
     

   • Criado para a plataforma da Web:

     flutter build web --release
     

   • Observação: Após a conclusão da compilação do iOS, você precisa ativar as permissões de rede nas configurações do dispositivo.

Uso das funções principais

A função principal do cliente Xiaozhi é a interação de voz e texto, e a seguir estão as instruções detalhadas de operação:

1. interação por voz
   • Abra o aplicativo e toque no ícone do microfone na interface principal para entrar no modo de voz.
   • Fale no dispositivo e o cliente reconhecerá a fala e a converterá em texto em tempo real.
   • O assistente de IA gerará uma resposta de voz ou texto com base na entrada.
   • Se o ambiente for barulhento, ative o cancelamento de eco (ative-o em Configurações) para melhorar a precisão do reconhecimento.
   • Suporte à função de interrupção de voz: você pode dizer "stop" ou "re-say" a qualquer momento durante o diálogo para interromper a resposta atual e entrar novamente.
2. diálogo textual
   • Digite uma pergunta ou instrução na caixa de entrada da tela principal e clique no botão Send (Enviar).
   • O assistente de IA gera respostas de texto rapidamente e suporta respostas a perguntas complexas ou várias rodadas de diálogo.
   • Os modos de texto e voz podem ser combinados, por exemplo, fazer uma pergunta com voz e depois ver a resposta em texto.
3. Gerenciamento de configuração de serviços
   • Vá para a página Settings (Configurações) e adicione o endereço do serviço Siu Chi (URL do WebSocket).
   • Digite um token de autenticação para garantir uma conexão segura com o servidor.
   • Vários serviços da Dify podem ser configurados inserindo a chave da API e o URL do servidor e selecionando o modelo de IA desejado (por exemplo, OpenAI ou Qwen3).
   • Ajuste dos parâmetros do modelo (por exemplo, temperatura) para controlar a criatividade ou a precisão das respostas.
4. Controle inteligente de dispositivos
   • Ative a função MIot em Configurações para conectar dispositivos Mi (como luzes inteligentes ou condicionadores de ar).
   • Use comandos de voz (por exemplo, "Ligue a luz da sala") ou entrada de texto para controlar o dispositivo.
   • Certifique-se de que o dispositivo e o cliente estejam no mesmo ambiente de rede.
5. Troca de modelo Live2D
   • O aplicativo tem dois modelos Live2D gratuitos integrados, e você pode alternar entre eles acessando a página de configurações.
   • Há suporte para a importação de modelos personalizados do Live2D: coloque o arquivo do modelo no diretório especificado (consulte a documentação) e selecione-o nas configurações.
   • Os modelos são exibidos dinamicamente junto com o diálogo para aumentar a diversão interativa.
6. Mudança de tema
   • Escolha um tema claro ou escuro nas configurações para se adequar a diferentes ambientes de iluminação.
   • A mudança de tema entra em vigor em tempo real, sem necessidade de reiniciar o aplicativo.
7. Modo Mood
   • Quando o modo de humor estiver ativado, a IA ajustará o tom da resposta de acordo com as palavras-chave emocionais inseridas pelo usuário (por exemplo, "feliz" ou "cansado").
   • Por exemplo, se você disser "Estou cansado hoje", a IA responderá em um tom mais suave, aprimorando a experiência do usuário.

advertência

• Certifique-se de que a rede esteja estável e que a interação de voz exija uma conexão em tempo real com o servidor.
• Os usuários do iOS precisarão conceder permissões de microfone e rede na primeira execução.
• Verifique regularmente se há atualizações no repositório do GitHub para obter os recursos e as correções mais recentes.
• Se você usar o serviço da Dify, precisará se registrar na plataforma da Dify e obter a chave da API com antecedência.

cenário do aplicativo

1. Assistente diário
   Os usuários podem verificar o clima, definir lembretes ou responder a perguntas com o cliente Xiaozhi. Por exemplo, funcionários de escritório ocupados podem verificar rapidamente suas agendas ou controlar dispositivos inteligentes em casa com comandos de voz.
2. Assistência ao aprendizado
   Os alunos podem usar o recurso de diálogo de texto para fazer perguntas acadêmicas à IA e obter respostas detalhadas. O recurso de interação gráfica, que suporta a interface OpenAI, é adequado para analisar documentos ou imagens complexas.
3. Controle de casa inteligente
   Os usuários controlam os dispositivos Mi Home por meio de comandos de voz ou texto, como ligar o ar-condicionado ou ajustar as luzes, o que é adequado para criar um ambiente de vida inteligente.
4. Depuração do desenvolvedor
   Os desenvolvedores podem usar o recurso Service Configuration para testar diferentes modelos e parâmetros de IA e verificar rapidamente as conexões WebSocket ou os efeitos da integração de serviços Dify.

QA

1. Quais plataformas são compatíveis com o cliente Xiaozhi?
   Ele é compatível com Android, iOS, Web, Windows, macOS e Linux, usando o desenvolvimento Flutter, um conjunto de códigos adaptados a várias plataformas.
2. Como melhorar a precisão do reconhecimento de fala?
   Use-o em um ambiente silencioso, ative o cancelamento de eco e selecione um modelo de reconhecimento de fala de alta qualidade nas configurações.
3. É necessário suporte ao servidor?
   Sim, você precisa se conectar ao xiaozhi-server ou ao serviço Dify e configurar o URL correto do WebSocket e a chave de API.
4. Como importar um modelo personalizado do Live2D?
   Coloque o arquivo do modelo no diretório especificado pelo aplicativo (consulte a documentação) e, em seguida, selecione o modelo importado nas configurações.
5. Quais modelos de IA são suportados?
   Compatível com OpenAI, Qwen3 e muitos outros modelos, os usuários podem escolher e ajustar os parâmetros nas configurações.