Magenta RealTime的核心功能包括:
- 实时音乐生成:根据文字(如“轻快爵士”)或音频提示生成2秒音乐片段,响应时间仅约1.25秒,适合现场表演;
- 多模态输入:支持文字和音频混合提示,灵活控制音乐风格和节奏;
- 跨风格融合:可通过调整权重混合不同风格(如60%电子+40%古典);
- 开源部署:提供完整代码和模型权重,支持Google Colab、本地GPU/TPU或CPU运行;
- 低延迟集成:可嵌入浏览器、DAW插件(如Ableton Live)或游戏引擎(Unity/Unreal)。
其核心技术基于800M参数的Transformer架构,以19万小时器乐数据训练,强调动态交互和创作辅助。
本答案来源于文章《Magenta RealTime:实时生成音乐的开源模型》