Interpretação simultânea com IA Novo avanço: ByteDance lança o Seed LiveInterpret 2.0, a latência é diretamente comparável à de intérpretes humanos

Com a comunicação entre idiomas se tornando a principal demanda da globalização, a interpretação simultânea sempre foi o pico mais desafiador no campo da tradução automática. Recentemente, a equipe Seed da Byte Jump lançou um programa chamado Seed LiveInterpret 2.0 O modelo de interpretação simultânea de ponta a ponta oferece uma solução técnica confiável para a comunicação multilíngue em tempo real.

Menor latência, experiência mais natural

A maioria dos sistemas tradicionais de interpretação simultânea automática adota um esquema em cascata, ou seja, o modelo de três etapas de "reconhecimento de fala (ASR) → tradução de texto (MT) → síntese de fala (TTS)". Embora esse modelo seja maduro, cada link gerará acúmulo de atraso, e os erros serão transmitidos no link para amplificar, resultando em uma grande redução do efeito final da tradução e do tempo real.

Seed LiveInterpret 2.0 A modelagem de fala para fala (S2S) de ponta a ponta (E2E) foi usada para integrar as três etapas acima em um único modelo. Essa arquitetura permite que o modelo alcance a compreensão e a geração de fala full-duplex, resultando em um melhor equilíbrio entre a precisão da tradução e a latência.

De acordo com dados oficiais publicados, em cenários de fala para texto (S2T), oSeed LiveInterpret 2.0 O atraso médio da primeira palavra é de apenas 2,21 segundos; em cenários mais complexos de fala para fala (S2S), o atraso de saída é de apenas 2,53 segundos. Essa latência média de 2 a 3 segundos é muito próxima do desempenho de um intérprete simultâneo humano profissional, o que aumenta muito a suavidade do diálogo.

Reprodução de som sem amostras e compreensão precisa

Além da baixa latência, o modelo também possui o recurso de replicação de voz Zero-shot. Isso significa que ele pode replicar as qualidades de voz de um locutor em tempo real sem treinamento prévio, preservando seu timbre e identidade exclusivos, evitando efetivamente a confusão devido à uniformidade da voz em conversas com várias pessoas.

Em cenários de tradução complexos, como lidar com trava-línguas, poesia, cultura gastronômica etc., o modelo demonstra sua capacidade de entender profundamente o contexto e o histórico cultural, e consegue uma tradução natural e precisa entre o inglês e o chinês.

Dados de avaliação do modelo

Em uma avaliação manual, oSeed LiveInterpret 2.0 A pontuação de qualidade da interpretação simultânea bidirecional de fala para texto (S2T) chinês-inglês, de 74,8 de 100, superou o sistema de linha de base do setor, que ficou em segundo lugar (47,3), em 581 TP3T.

Entre os sistemas que suportam a tradução de fala para fala (S2S), o modelo alcança uma pontuação média de qualidade de tradução bidirecional chinês-inglês de 66,3 (as dimensões de avaliação incluem precisão de tradução, latência, taxa de fala, pronúncia e fluência), que é muito superior a outros sistemas de linha de base. É importante observar que a maioria dos sistemas envolvidos na comparação ainda não oferece suporte ao recurso de reprodução de som.

O surgimento dessa tecnologia não é apenas mais uma iteração de ferramentas de tradução, mas sinaliza que uma forma mais natural e imersiva de comunicação entre idiomas está se tornando realidade. Seja em uma reunião internacional, negociação comercial ou viagem ao exterior, o idioma não será mais uma barreira para a conexão quando o intérprete automático puder "ouvir a voz como se fosse um ser humano".