如何实现多播客角色的语音合成并保持音色一致性？

2025-08-23

1.5 K

构建多角色语音系统的实践方法

针对有声书或多主持人播客场景，可通过以下步骤建立稳定的多角色语音库：

基础建设阶段：
1. 为每个目标角色收集至少20分钟纯净语音样本
2. 建立独立的训练数据集目录结构
3. 为每个speaker创建专属的data/tts_sft_data_xx.jsonarquivo de configuração
模型训练方案：
- 方案A：为每个角色单独训练SFT模型
- 方案B：使用多说话人混合数据训练单一模型(需修改模型架构)
推理阶段管理：
1. 建立角色-参考音频映射表
2. 调用API时严格匹配ref_wav_path与训练数据
3. disponível emprompt_text中加入角色标识符强化特征

对于需要频繁切换角色的场景，建议将各模型部署为独立API端点，通过负载均衡实现高效调用。这种方案已在有声书制作中得到验证，可同时保持10+角色音色的稳定性。