Magenta RealTime: um modelo de código aberto para gerar música em tempo real

O Magenta RealTime (abreviado como Magenta RT) é um modelo de geração de música de código aberto desenvolvido pelo Google DeepMind que se concentra na criação de música em tempo real. É uma versão de código aberto do Lyria RealTime que oferece suporte à geração de clipes de música de alta qualidade por meio de dicas de texto ou áudio. O modelo é baseado na arquitetura Transformer de 800 milhões de parâmetros, e os dados de treinamento contêm cerca de 190.000 horas de música instrumental. Os usuários podem executá-lo gratuitamente por meio do Google Colab ou implantá-lo em dispositivos locais. O Magenta RT é lançado sob as licenças Apache 2.0 e CC-BY 4.0, com código e pesos de modelo disponíveis publicamente para incentivar músicos e desenvolvedores a explorar aplicativos inovadores. Seu principal objetivo é aumentar a criação de música humana com experiências dinâmicas e interativas de geração de música adequadas para apresentações ao vivo e criação de paisagens sonoras.

Lista de funções

• Geração de música em tempo realGera clipes de música de 2 segundos com base em dicas de texto (por exemplo, "light jazz") ou clipes de áudio, e é muito responsivo.
• Entradas multimodaisSuporte a dicas mistas de texto e áudio para controle flexível do estilo e do andamento da música.
• Fusão de estilos cruzadosMúsica: Diferentes estilos musicais podem ser misturados em tempo real, por exemplo, música eletrônica com música clássica.
• Código aberto e implementação localCódigo de modelo: fornece o código e os pesos do modelo e suporta a execução em TPUs do Colab ou GPU/TPUs nativas.
• Geração de baixa latênciaA cada 2 segundos de geração de música, leva cerca de 1,25 segundo, o que o torna adequado para apresentações ao vivo.
• Suporte a várias plataformasPode ser integrado a navegadores, plug-ins de DAW ou mecanismos de jogos para ampliar o cenário de criação musical.

Usando a Ajuda

Processo de instalação

O Magenta RealTime oferece suporte a uma ampla variedade de tempos de execução para usuários com diferentes formações técnicas. As instruções detalhadas de instalação e uso são fornecidas abaixo.

1. execute o Google Colab (recomendado para iniciantes)

O Google Colab é a maneira mais fácil de executar o Magenta RT sem hardware configurado localmente. As etapas são as seguintes:

• Visite a demonstração oficial do Colab:https://colab.research.google.com/github/magenta/magenta-realtime/blob/main/notebooks/Magenta_RT_Demo.ipynb.
• Faça login em sua conta do Google, clique no botão "Run" (Executar) e o Colab alocará automaticamente recursos TPU gratuitos.
• Siga as instruções do bloco de notas, digite o texto (por exemplo, "piano suave") ou carregue um clipe de áudio e clique em Run (Executar) para gerar a música.
• A saída resulta em áudio estéreo de 48kHz que pode ser baixado ou reproduzido em tempo real.

2. instalação local (para desenvolvedores)

Para executar o Magenta RT localmente, é necessário hardware de GPU ou TPU. Veja abaixo as etapas de instalação:

• Clonagem da base de código:

  git clone https://github.com/magenta/magenta-realtime.git
  cd magenta-realtime
  

• Os comandos de instalação são selecionados com base no hardware:
  • Suporte a GPU:

    pip install 'git+https://github.com/magenta/magenta-realtime#egg=magenta_rt[gpu]'
    

  • Suporte para TPU:

    pip install 'git+https://github.com/magenta/magenta-realtime#egg=magenta_rt[tpu]'
    

  • CPU (somente teste):

    pip install 'git+https://github.com/magenta/magenta-realtime'
    

• Quando a instalação estiver concluída, execute o script de amostra:

  python -m magenta_rt.demo
  

• Certifique-se de que a versão do Python seja 3.5 ou superior; o ambiente Anaconda é recomendado para simplificar o gerenciamento de dependências.

3. operação de funções essenciais

No centro do Magenta RT está a geração de música em tempo real, que funciona da seguinte forma:

• Geração de dicas de texto::
  • Digite um texto descritivo, como "upbeat drums" (bateria animada) ou "classical strings" (cordas clássicas) no Colab ou em um script local.
  • O modelo gera clipes de áudio de 2 segundos com base na entrada e suaviza a articulação com base nos primeiros 10 segundos do contexto de áudio (usando técnicas de cross-fade para reduzir a distorção dos limites).
  • Exemplo: Executar em Colab:

    from magenta_rt import generate
    audio = generate(text_prompt="soft piano melody", duration=2.0)
    

  • O áudio de saída pode ser reproduzido em tempo real ou salvo como um arquivo WAV.
• Geração de sinais de áudio::
  • Carregue um pequeno trecho de áudio (por exemplo, um clipe de guitarra de 10 segundos) e o modelo continuará seu estilo para gerar um novo clipe.
  • Código de amostra:

    audio = generate(audio_prompt="input.wav", duration=2.0)
    

  • As dicas de texto e áudio podem ser combinadas ajustando-se os pesos, por exemplo, "50% jazz + 50% input audio".
• Fusão estilística::
  • Insira vários sinais, como "60% eletrônico + 40% clássico", para gerar uma mistura de estilos.
  • Ajuste o parâmetro "temperature" (temperatura) (0,0-1,0) na interface do Colab para controlar a aleatoriedade da música gerada.
• controle em tempo real::
  • Altere dinamicamente as pistas durante uma apresentação ao vivo por meio da API ou do plug-in DAW e o modelo responderá ao novo estilo em 2 segundos.
  • Exemplo: integre-se ao Ableton Live usando a API Lyria RealTime (aplicativo necessário) para ajustar o andamento da música em tempo real.

4. uso avançado

• Integração com DAWMagenta RT pode ser usado com o Ableton Live, FL Studio, etc. por meio de plug-ins VST, como o DDSP-VST. Depois de instalar o DDSP-VST, arraste e solte em uma trilha MIDI e digite os prompts para gerar música.
• Integração do mecanismo de jogoO Magenta RT pode ser incorporado ao Unity ou ao Unreal Engine para gerar dinamicamente paisagens sonoras com base em eventos do jogo. Por exemplo, quando o jogador entra em uma cena de batalha, insira um sinal de "cordas tensas".
• Modelagem do ajuste finoO Magenta RT oferece suporte ao ajuste fino, o que permite que os desenvolvedores otimizem os modelos usando conjuntos de dados personalizados (por exemplo, estilos musicais específicos). Os detalhes técnicos serão descritos em um relatório futuro.

5 Cuidados

• procrastinarTempo de espera: Demora cerca de 1,25 segundo para gerar 2 segundos de áudio, e pode haver um atraso de 2 segundos para mudanças de sinal.
• limite de contextoO modelo faz referência apenas aos primeiros 10 segundos de áudio e não é capaz de gerar temas musicais de longo prazo.
• Requisitos de hardwareRAM de pelo menos 16 GB e uma GPU NVIDIA (por exemplo, GTX 1080) são recomendados para a operação local.

cenário do aplicativo

1. Apresentação de música ao vivo
   • DJs ou músicos podem gerar música no local em tempo real por meio de texto ou sinais de áudio, alternando rapidamente os estilos para aumentar a interatividade do desempenho.
2. Design de paisagens sonoras de jogos
   • Os desenvolvedores podem integrar o Magenta RT em seus jogos, gerando trilhas sonoras dinâmicas com base no comportamento do jogador, como "piano suave" para cenas calmas e "bateria intensa" para cenas de batalha.
3. instalação artística
   • Os artistas podem usar os modelos para criar paisagens sonoras interativas para a exposição, em que o público pode alterar a música ambiente digitando uma sugestão (por exemplo, "dream electronics").
4. Auxílio à composição musical
   • Os músicos podem usar o Colab para gerar rapidamente trechos de inspiração para compor músicas ou para eliminar gargalos criativos.

QA

1. O Magenta RT é compatível com a geração de letras de música?
   • Não suportado. O modelo gera principalmente música instrumental, que pode produzir zumbidos não verbais, mas não pode gerar letras claras. Para evitar conteúdo inadequado, é recomendável usar a API Lyria RealTime para obter um suporte de estilo mais amplo.
2. Como executar o Magenta RT localmente?
   • Clone o repositório do GitHub, instale as dependências de hardware correspondentes (GPU/TPU/CPU) e execute o script de exemplo. O Colab é recomendado para reduzir os requisitos de hardware.
3. Há algum problema de direitos autorais com a geração de músicas?
   • O usuário detém todos os direitos autorais da música gerada e o Google não reivindica nenhum direito. No entanto, é necessário garantir que você não infrinja os direitos autorais de terceiros e que esteja em conformidade com as licenças Apache 2.0 e CC-BY 4.0.
4. Quais estilos musicais são compatíveis com o modelo?
   • Suporta principalmente estilos instrumentais ocidentais (por exemplo, jazz, eletrônico, clássico) com suporte limitado a tradições musicais e letras de músicas globais. Recomende a API Lyria RealTime para obter uma cobertura mais ampla.