Os principais recursos do Magenta RealTime incluem:
- Geração de música em tempo realGera clipes de música de 2 segundos com base em texto (por exemplo, "light jazz") ou dicas de áudio, com um tempo de resposta de apenas cerca de 1,25 segundo, o que o torna adequado para apresentações ao vivo;
- Entradas multimodaisSuporte a dicas mistas de texto e áudio para controle flexível do estilo e do andamento da música;
- Fusão de estilos cruzadosEstilos diferentes podem ser misturados ajustando-se os pesos (por exemplo, 60% Electronic + 40% Classical);
- implantação de código abertoCódigo completo e pesos do modelo são fornecidos, com suporte para o Google Colab, GPU/TPU local ou execuções de CPU;
- Integração de baixa latênciaPode ser incorporado em navegadores, plug-ins de DAW (por exemplo, Ableton Live) ou mecanismos de jogos (Unity/Unreal).
Sua tecnologia principal é baseada na arquitetura Transformer de 800M de parâmetros, treinada com 190.000 horas de dados instrumentais, com ênfase na interação dinâmica e na assistência criativa.
Essa resposta foi extraída do artigoMagenta RealTime: um modelo de código aberto para gerar música em tempo realO