Um esquema de transição para a síntese de fala entre idiomas
Embora o Muyan-TTS atualmente seja compatível principalmente com o inglês, é possível obter resultados aceitáveis em chinês com os seguintes métodos:
- Geração indireta de programas:
- Conversão de texto chinês para inglês usando tradução automática
- Geração de fala em inglês com o Muyan-TTS
- Conversão de tons por meio de conversão de voz (por exemplo, so-vits-svc)
- Programa de ajuste fino do modelo:
- Coleção de corpus paralelo chinês-inglês (gravações bilíngues do mesmo conteúdo)
- Treinamento de adaptação entre idiomas com base em modelos existentes
- Foco no ajuste da capacidade de processamento de fonemas chineses do decodificador SoVITS
- Programa de sistemas híbridos:
- Processamento de passagens em inglês com o Muyan-TTS
- Interface com outros sistemas TTS chineses (por exemplo, VITS) para lidar com a parte chinesa do programa
- Ajuste dos parâmetros de tom na pós-produção
Deve-se observar que esses programas podem comprometer a naturalidade das rimas. Para conteúdo chinês de nível profissional, recomenda-se aguardar o suporte oficial ou participar de um programa de treinamento multilíngue baseado na comunidade. Atualmente, pequenos ajustes podem ser feitos após a geração para melhorar a experiência auditiva por meio de ferramentas como o Adobe Audition.
Essa resposta foi extraída do artigoMuyan-TTS: treinamento e síntese de fala em podcasts personalizadosO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como superar o gargalo de qualidade dos podcasts em inglês para a fala chinesa?
