AIRI: companheiro virtual de IA auto-hospedado com suporte para voz em tempo real e interação com jogos

O AIRI é um projeto de companhia virtual de IA de código aberto, auto-hospedado, projetado para oferecer aos usuários experiências personalizáveis com personagens digitais. Ele é centrado no Large Language Model (LLM) e oferece suporte a bate-papo por voz em tempo real, interações em jogos (por exemplo, Minecraft e Factorio) e animação de personagens virtuais (VRM/Live2D). Os usuários podem executar o AIRI em um navegador ou no desktop, sem dependências complexas, usando tecnologias da Web ou aceleração de GPU local. Inspirado no Neuro-sama, o objetivo do projeto é criar um companheiro virtual que jogue, converse e execute uma variedade de tarefas com o usuário. O AIRI enfatiza a autonomia do usuário e oferece suporte à implantação localizada para garantir privacidade e flexibilidade. O projeto é mantido pela comunidade Moeru AI e é continuamente atualizado, e os desenvolvedores são bem-vindos para contribuir.

Lista de funções

• Interação de voz em tempo real: suporta entrada e saída de voz de um navegador ou do Discord, usando o ElevenLabs Tecnologia de síntese de fala.
• Interação com o jogo: capaz de executar comandos de linguagem natural no Minecraft para concluir tarefas como escavação e construção; auxiliar o jogador no Factorio (em desenvolvimento).
• Suporte a personagens virtuais: modelos VRM e Live2D integrados com efeitos de animação, como piscar automático e rastreamento de linha de visão.
• Inferência local: inferência de modelo usando WebGPU ou NVIDIA CUDA/Apple Metal local, sem dependências de nuvem.
• Sistemas na memória: suporte para bancos de dados locais (por exemplo, DuckDB WASM) para registrar o histórico de interação do usuário.
• Suporte multiplataforma: é executado em navegadores da Web, Windows e macOS.
• Amigável ao desenvolvedor: fornece um sistema de plug-in para suportar extensões de usuário.

Usando a Ajuda

Processo de instalação

Para usar o AIRI, os usuários precisam clonar o repositório do GitHub e realizar uma configuração simples. Abaixo estão as etapas detalhadas de instalação:

1. armazém de clones::
   Abra um terminal e digite o seguinte comando para clonar o repositório AIRI:

   git clone https://github.com/moeru-ai/airi.git
   cd airi
   

2. Instalação de dependências::
   Uso da AIRI pnpm como um gerenciador de pacotes. Certifique-se de que o Node.js 22+ esteja instalado e execute-o:

   pnpm install
   

3. Configuração de variáveis de ambiente::
   Copie o arquivo de configuração de amostra e preencha as informações necessárias:

   cp packages/agent/.env.example packages/agent/.env.local
   

   compilador packages/agent/.env.localAdicione o seguinte:

   OPENAI_API_KEY=your_openai_api_key
   OPENAI_API_BASEURL=your_openai_api_baseurl
   

   Se estiver usando o módulo Factorio, a configuração também será necessária:

   cp packages/factorio-wrapper/.env.example packages/factorio-wrapper/.env.local
   

   compilador packages/factorio-wrapper/.env.localA seguir, um exemplo de como configurar um endereço WebSocket e RCON:

   WS_SERVER_HOST=localhost
   FACTORIO_WS_HOST=localhost
   RCON_API_SERVER_HOST=localhost
   

4. Link para o módulo Factorio (opcional)::
   Se você usar a função Factorio, precisará criar links simbólicos:

   ln -s /path/to/airi-factorio/packages/autorio/dist /path/to/factorio/data/autorio
   

5. Executar AIRI::
   Selecione o modo de operação de acordo com a plataforma:
   • navegador (software)Para iniciar a versão da Web, acesse http://localhost:5173(portas específicas estão sujeitas à configuração real).
   • desktopExecuta a versão para desktop, suporta aceleração NVIDIA CUDA ou Apple Metal e executa:

     pnpm run start
     

Função Fluxo de operação

1. interação de voz em tempo real

O AIRI suporta entrada e saída de voz via navegador ou Discord. Os usuários precisam configurar a API de síntese de voz da ElevenLabs:

• existir .env.local Adicione a chave de API da ElevenLabs à lista.
• Depois de iniciar o AIRI, abra a interface do navegador ou o cliente Discord e clique no botão Voice Input (Entrada de voz).
• Diga um comando (por exemplo, "Ajude-me a construir uma casa"), e a AIRI responde por voz e executa a tarefa.
• A interação por voz suporta a detecção automática do status de fala do usuário, adequada para cenários de comunicação em tempo real.

2. interação com o jogo Minecraft

A AIRI integra a robótica do Minecraft, que pode ser controlada por comandos de linguagem natural:

• Certifique-se de que o servidor do Minecraft (1.20 ou superior) esteja em execução e configure o .env.local As informações do servidor na seção

  BOT_USERNAME=your_bot_username
  BOT_HOSTNAME=localhost
  BOT_PORT=25565
  BOT_VERSION=1.20
  

• Inicie o AIRI e conecte-se ao servidor.
• Digite um comando na interface, como "Dig 10 stones" (cavar 10 pedras) ou "Follow me" (siga-me), e o AIRI o executará automaticamente.
• Os recursos incluem planejamento de caminhos, gerenciamento de itens, suporte a combate e muito mais. Por exemplo, digite "Build a 3×3 cabin" (Construir uma cabana 3×3) e o AIRI coletará automaticamente a madeira e concluirá a construção.

3. animação de personagens virtuais

O AIRI suporta modelos VRM e Live2D para aprimorar a experiência interativa:

• Carregue um arquivo de modelo VRM ou Live2D na página Setup (Configuração).
• O modelo executa automaticamente o Juno, que inclui efeitos de animação, como piscar automático e rastreamento de linha de visão.
• O usuário pode ajustar os movimentos do modelo por meio da interface, como "olhar para o mouse" ou "mover os olhos aleatoriamente".

4. raciocínio local e privacidade

O AIRI suporta inferência WebGPU sem a necessidade de servidores em nuvem:

• Certifique-se de que o dispositivo seja compatível com WebGPU (navegadores modernos como o Chrome/Edge).
• Selecione um modelo local (por exemplo, LLaMA) nas configurações para executar a inferência no navegador.
• Suporte de desktop para NVIDIA CUDA ou Apple Metal para melhor desempenho.

5. funcionalidade estendida

Os desenvolvedores podem adicionar funcionalidades por meio do sistema de plug-in:

• entrevistas services Catalogue, consulte a documentação para criar habilidades personalizadas.
• Exemplo: adicionar um novo módulo de interação com o jogo, implementar a lógica de habilidade e registrá-la na AIRI.

advertência

• Certifique-se de que a rede seja estável e que as funções de voz e jogos exijam uma conexão de baixa latência.
• A inferência local requer um dispositivo de alto desempenho, com pelo menos 16 GB de RAM recomendados.
• Verifique regularmente se há atualizações em seu repositório do GitHub para obter os recursos e as correções mais recentes.

cenário do aplicativo

1. Companheiro de jogo
   A AIRI pode interagir com os jogadores no Minecraft e no Factorio para executar comandos ou fornecer assistência, para jogadores que desejam um companheiro inteligente.
2. Assistente virtual
   Comunique-se com a AIRI por voz e texto para realizar tarefas cotidianas, como procurar informações e fazer anotações, adequadas para entretenimento pessoal ou cenários de trabalho.
3. Teste de desenvolvedor
   Os desenvolvedores podem usar o sistema de plug-in da AIRI para testar modelos de IA ou desenvolver novos recursos para pesquisa de IA e desenvolvimento de aplicativos.
4. Entusiastas de personagens virtuais
   Os usuários podem personalizar os personagens VRM/Live2D para criar companheiros digitais personalizados para entusiastas de personagens virtuais.

QA

1. A AIRI precisa de equipamentos de alto desempenho?
   A versão do navegador é executada em dispositivos comuns, mas a inferência nativa requer um navegador habilitado para WebGPU ou um dispositivo de GPU (por exemplo, dispositivo NVIDIA/Apple).
2. Como você garante a privacidade dos dados?
   A AIRI é compatível com a implantação e a inferência locais, e os dados não precisam ser carregados na nuvem para garantir a privacidade.
3. Ele é compatível com vários idiomas?
   Sim, o modelo de idioma da AIRI suporta vários idiomas e a síntese de fala suporta saída multilíngue.
4. Como posso participar do desenvolvimento?
   Visite o repositório do GitHub, envie uma solicitação pull ou participe da discussão no Telegram/Discord na comunidade Moeru AI.