O projeto é inovador no suporte ao ajuste fino de amostra única (adaptação de poucos disparos) com os seguintes recursos técnicos importantes em seu subsistema de treinamento:
- (<li) Eficiência de dados: apenas um clipe de áudio de 30 segundos é necessário para a extração de recursos de impressão de voz.
(<li) Velocidade de treinamento: cerca de 20 minutos para 1.000 etapas em uma GPU T4.
<li) Adaptação do modelo: compatível com config_dit_mel_seed_uvit_whisper_base_f0_44k.yml e outras configurações predefinidas.
No caso real, depois que o usuário fez o ajuste fino com 5 amostras de voz, a similaridade do locutor da voz sintetizada foi aprimorada em 371TP3 T. Esse recurso é particularmente adequado para cenários em que a privacidade da impressão de voz precisa ser protegida, como a geração de identidades de voz alternativas.
Essa resposta foi extraída do artigoSeed-VC: suporta a conversão em tempo real de fala e música com menos amostrasO
