Hibiki相比传统语音翻译有哪些技术突破？

2025-09-10

1.8 K

Hibiki的技术创新

Hibiki通过多项关键技术实现了传统语音翻译系统的突破：

流式处理机制::
- 传统方案需要完整录音后才开始翻译，而Hibiki实现200ms级延迟的实时处理
- 通过RVQ（残差向量量化）技术分割语音流，支持16/8流并行处理
データ強化プログラム::
- 开发上下文对齐的弱监督方法，解决双语语音数据稀缺问题
- 创新性地插入静音段来保持语音时序对齐
语音保持技术::
- 引入分类器自由引导系数（CFG系数），用户可调节语音相似度
- 默认CFG=1，推荐值3可获得最佳原声保留效果