A vantagem do Hibiki em tempo real decorre de sua revolucionária arquitetura de processamento de vários fluxos. O sistema foi projetado com um pipeline de processamento paralelo, em que os fluxos de fala de entrada são instantaneamente analisados em representações intermediárias, enquanto o módulo de geração do idioma de destino inicia imediatamente o processo de tradução. O núcleo da arquitetura contém:
- 8-16 fluxos de RVQ (Residual Vector Quantisation) trabalhando em paralelo
- Os mecanismos de sincronização entre fluxos garantem a coerência semântica
- O gerenciamento dinâmico de buffer equilibra a latência e a precisão
Em testes reais, a versão 2B Parametric mantém a latência de ponta a ponta abaixo de 800 ms, e a versão 1B Lite mantém uma latência de menos de 1,2 segundos, mesmo em dispositivos móveis. Esse desempenho permite que o sistema obtenha uma verdadeira tradução em tempo real no nível do diálogo, em que os usuários falam sem pausas para obter uma saída suave no idioma de destino.
Essa resposta foi extraída do artigoHibiki: um modelo de tradução de fala em tempo real, tradução de fluxo contínuo que preserva as características da voz originalO
