InfiniteRadio: geração de fluxos de música infinitos baseados em contexto

O InfiniteRadio é um projeto de código aberto que visa gerar um fluxo infinito de música por meio da tecnologia de inteligência artificial e adaptar dinamicamente o estilo musical ao contexto atual do usuário. Desenvolvido pela LaurieWired, o projeto combina a modelagem de música Magenta RealTime com o InternVL3 ou o monitoramento do processo do sistema para alternar automaticamente entre os gêneros musicais. Os usuários podem desfrutar de uma experiência musical personalizada que muda com base em sua atividade ou ambiente, seja executando localmente ou por meio de um aplicativo Mac. O código está hospedado no GitHub para desenvolvedores e usuários interessados em geração de música e tecnologia de IA.

Lista de funções

• Geração automática de fluxos de música ilimitados, com base no modelo Magenta RealTime.
• Oferece suporte à seleção dinâmica e sensível ao contexto de tipos de música com base no InternVL3 ou em processos do sistema.
• Um aplicativo de bandeja do Mac está disponível para facilitar a configuração e o controle da reprodução de música.
• Suporta a execução de modelos musicais localmente, requer a configuração de contêineres do Docker.
• Permite que os usuários acessem a interface de controle de música por meio de um navegador.
• Suporta os modos LLM DJ e Process DJ, ajustando a música por meio de modelagem de linguagem ou monitoramento de processos, respectivamente.

Usando a Ajuda

Processo de instalação

Para usar o InfiniteRadio, os usuários precisam executar o projeto localmente ou por meio de um aplicativo Mac. Abaixo estão as etapas detalhadas de instalação e uso:

operação local

1. Preparação ambiental
   • Certifique-se de que o Docker esteja instalado, pois o modelo de música precisa estar em um contêiner para ser executado.
   • Instale o Python (versão recomendada 3.8 ou superior) para executar os scripts relevantes.
   • Se estiver usando o LLM DJ, você precisará instalar o LM Studio para executar o Language Model Server.
2. projeto de clonagem
   Execute o seguinte comando no terminal para clonar o projeto InfiniteRadio localmente:

   git clone https://github.com/LaurieWired/InfiniteRadio.git
   cd InfiniteRadio
   

3. Configuração de contêineres do Docker
   • Vá para o diretório do projeto, encontre o Dockerfile e execute o seguinte comando para criar o contêiner:

     docker build -t infiniteradio .
     

   • Inicie o contêiner:

     docker run -p 8080:8080 infiniteradio
     

   • Quando o contêiner estiver em execução, abra um navegador e visite http://127.0.0.1:8080 ou o endereço IP do contêiner para acessar a interface do Music Control.
4. Configuração do LLM DJ (opcional)
   • Inicie o Language Model Server no LM Studio (consulte a documentação do LM Studio para obter a configuração específica).
   • Verifique se o servidor está sendo executado corretamente e se o InfiniteRadio chamará o modelo por meio da API para selecionar dinamicamente os gêneros musicais.
   • Se estiver usando um aplicativo Mac, você poderá ignorar a configuração do Python e selecionar LLM DJ diretamente no aplicativo da bandeja.
5. Configuração do Process DJ
   • O Process DJ monitora os processos ativos do sistema (por exemplo, navegadores, editores de código etc.) e alterna o estilo de música de acordo com o tipo de processo.
   • Em um Mac, você precisará conceder permissões de exibição de tela do aplicativo para garantir que a seleção dinâmica de tipos de música funcione corretamente.
   • Configurações de permissão: em Preferências do sistema > Segurança e privacidade > Gravação de tela, marque o aplicativo InfiniteRadio.

Processo de uso

1. Iniciar a reprodução de música
   • Acesso via navegador http://127.0.0.1:8080Para entrar na interface de controle do InfiniteRadio, pressione o botão Enter.
   • A interface exibe o tipo de música atual, o status da reprodução e as informações contextuais.
   • Os usuários podem selecionar o modo LLM DJ ou Process DJ e clicar no botão "Start" para iniciar o fluxo de música.
2. Operação do modo LLM DJ
   • O LLM DJ usa o modelo InternVL3 para analisar o contexto (por exemplo, conteúdo da tela ou entrada do usuário) e seleciona automaticamente o tipo de música correspondente (por exemplo, música concentrada para trabalho, música intensa para jogos).
   • Na tela de controle, clique em "Switch to LLM DJ" e certifique-se de que o servidor do LM Studio esteja em execução.
   • Uma descrição do contexto (por exemplo, "programação" ou "relaxamento") pode ser inserida manualmente e o modelo gerará a música correspondente.
3. Operação do modo DJ do processo
   • O Process DJ monitora os processos do sistema e ajusta os tipos de música de acordo com os aplicativos ativos (por exemplo, VS Code, clientes de jogos).
   • No aplicativo Mac Tray, clique em "Enable Process DJ" e o programa detectará e trocará de música automaticamente.
   • O usuário pode visualizar o processo atual e o gênero musical correspondente (por exemplo, "VS Code - Focus on Electronica") na interface.
4. controle de música
   • A interface oferece funções de pausa, reprodução e ajuste de volume.
   • Os usuários podem selecionar manualmente o tipo de música ou deixar que o sistema o ajuste automaticamente.
   • Suporte para salvar clipes de música favoritos, armazenados no diretório local do projeto.

advertência

• Certifique-se de que a rede esteja estável e que o modo LLM DJ exija comunicação com o servidor de modelagem de idioma.
• O modo Process DJ requer permissões de tela em um Mac; caso contrário, não será possível monitorar os processos.
• É necessário um hardware de alto desempenho para a operação local. Recomenda-se 16 GB de RAM e uma CPU com vários núcleos para garantir a geração de músicas sem problemas.
• A documentação do projeto está localizada no arquivo README no repositório do GitHub, portanto, você pode consultá-la ou registrar um problema se tiver problemas.

cenário do aplicativo

1. Ambiente de trabalho do desenvolvedor
   O InfiniteRadio oferece aos desenvolvedores um streaming de música focado. Por exemplo, ao abrir o VS Code, o Process DJ detecta a atividade de programação e reproduz automaticamente música eletrônica leve para melhorar o foco.
2. Música de fundo para jogadores
   À medida que o jogador executa o jogo, o Process DJ reconhece o progresso do jogo e muda para músicas intensas ou de estilo épico para aumentar a imersão.
3. Relaxamento diário
   Os usuários podem digitar "relax" ou "meditate" por meio do LLM DJ para gerar músicas relaxantes para descanso ou leitura.
4. Trabalho criativo
   Designers ou artistas podem se inspirar na análise de conteúdo na tela que permite que o InfiniteRadio gere músicas que combinem com o tema de sua criação.

QA

1. O InfiniteRadio requer uma conexão com a Internet?
   Se estiver usando o modo LLM DJ, é necessário ter uma conexão com a Internet para se conectar ao servidor do LM Studio. O modo de processo DJ pode ser executado off-line e requer apenas um contêiner Docker local.
2. Quais gêneros musicais são suportados?
   Os gêneros musicais são gerados pelo modelo Magenta RealTime, incluindo eletrônico, clássico, rock, etc., com gêneros específicos adaptados dinamicamente ao contexto.
3. Como os aplicativos do Mac são instalados?
   Baixe o pacote do aplicativo para Mac do repositório do GitHub, instale-o, execute-o na bandeja do sistema e conceda permissões de gravação de tela para usá-lo.
4. É possível personalizar o modelo de música?
   No momento, há suporte para os modelos Magenta RealTime. No futuro, mais modelos poderão ser suportados por meio de contribuições da comunidade, portanto, fique de olho no projeto para obter atualizações.