YuE é pioneiro em um novo paradigma para a geração de código aberto de letras de músicas completas
O YuE representa um avanço importante na tecnologia atual de geração de música. Como um modelo básico de código aberto, ele é o primeiro a alcançar a capacidade de geração de ponta a ponta, desde letras até músicas completas. Enquanto os modelos tradicionais de geração de música geralmente produzem apenas clipes curtos ou apenas faixas de apoio, o YuE é capaz de gerar músicas completas de até vários minutos de duração, incluindo vocais principais e faixas de apoio completas.
Essa inovação aborda três desafios importantes no campo da IA musical: primeiro, o problema da coerência contextual longa, que é mantida por uma técnica de bissecção e um esquema de treinamento em fases para manter a consistência da estrutura musical; segundo, o problema da distorção do conteúdo linguístico, que garante uma combinação natural de letra e melodia usando a geração de pensamento encadeado de letras; e, por último, o problema da escassez de dados, que é reduzido pelo uso de desambiguadores de áudio semanticamente aprimorados para reduzir a dependência de dados paralelos.
A natureza de código-fonte aberto do modelo o torna extremamente valioso para pesquisas científicas e aplicações comerciais. Os desenvolvedores podem usar o modelo pré-treinado diretamente para a criação, bem como para o desenvolvimento secundário com base no código-fonte aberto, o que é importante para promover o desenvolvimento ecológico da IA musical.
Essa resposta foi extraída do artigoYuE: Transforma as letras em um modelo básico de uma música completa, suportando uma ampla variedade de estilos musicaisO
