Tecnologia inteligente de conversão de áudio para MIDI
O módulo de transcrição de áudio do OpenUtau emprega algoritmos de aprendizagem profunda para analisar as frequências vocais e gerar automaticamente as sequências de notas correspondentes. No nível técnico, o sistema primeiro determina o contorno da frequência fundamental por meio da análise espectral FFT, depois usa uma rede CNN pré-treinada para identificar os limites dos fonemas e, por fim, gera dados MIDI com as letras marcadas. As medições mostram que a precisão da transcrição do 85% para áudio de canto limpo excede o modo básico do Melodyne e de outras ferramentas profissionais. Os usuários podem instalar o modelo de transcrição mais recente por meio de "Tools > Install Dependency", que leva em média 60 segundos (dependendo do desempenho da CPU) para processar 1 minuto de áudio. Esse recurso é particularmente útil para digitalizar o canto de gravações antigas, aprendizado rápido de partituras e composição assistida para músicos com deficiência. As versões futuras estão planejadas para incluir a tecnologia de separação polifônica para aprimorar ainda mais o processamento de áudio complexo.
Essa resposta foi extraída do artigoOpenUtau: ferramenta gratuita de código aberto para edição de síntese de músicasO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch