AudioX提供的数据集解决了音频-文本对齐的训练瓶颈

2025-08-26

1.2 K

项目团队开放了两个关键数据集：vggsound-caps包含19万条音频-文本描述对，V2M-caps则包含600万条音乐-文本描述对。这些数据集创新性地解决了传统音频生成模型面临的数据匮乏问题，特别是中文语境下的高质量配对数据不足。数据集构建采用了半自动标注流程：先使用ASR和音频分类模型生成初步标注，再由专业审核团队进行质量控制。相比仅包含音频特征的公开数据集（如AudioSet），AudioX提供的数据集具有更丰富的语义描述，支持模型学习从”轻快的钢琴曲”等抽象概念到具体声学特征的映射。实验表明，使用完整数据集训练的模型在用户主观评分上比仅使用10%数据训练的模型高出32%的满意度。