延迟流建模技术能实现0.5秒低延迟的语音交互

2025-08-23

792

DSM技术的延迟优化原理

Kyutai的延迟流建模(DSM)技术通过创新的流式架构实现了500毫秒级延迟。与传统批处理模型不同，DSM采用时间对齐的音频和文本流处理方式，模型会在接收音频流的同时逐步生成部分文本结果。这种设计避免了等待完整音频输入才开始处理的问题。

技术实现上包含三个关键技术：首先是动态分块策略，根据语义活动检测(VAD)智能分割音频流；其次是增量式解码机制，在获得足够语音特征后就启动解码过程；最后是flush trick加速技术，当检测到语音结束时能立即完成剩余处理，将延迟从500毫秒压缩到125毫秒。

实际的语音转文本测试数据显示，在L40S GPU上运行1B参数模型时，英语实时转录延迟稳定在0.45-0.55秒区间，法语处理稍高约0.6秒。这种性能已经能满足大多数实时对话场景的需求。

この答えは記事から得たものである。Kyutai：リアルタイム音声テキスト変換ツールについて