CyberSmart: conversão de texto em fala e vídeo humano digital

Xunfei Zhizuo é uma plataforma desenvolvida pela Xunfei para fornecer serviços de criação de conteúdo de inteligência artificial. Sua principal função é converter o texto inserido pelo usuário em fala, um processo geralmente chamado de "dublagem de IA" ou "síntese de fala". Os usuários podem escolher entre uma variedade de vozes virtuais pré-programadas (ou seja, "âncoras") com estilos diferentes, como transmissões de notícias, comentários de filmes e TV ou humor espirituoso, para se adequar a diferentes cenários de aplicativos.

Além da geração de áudio puro, a Xunfei Intelligent Work Platform pode ainda combinar texto e narração para gerar vídeos transmitidos por "pessoas digitais de IA". Os usuários só precisam fornecer o texto, e é possível criar rapidamente um vídeo oral de âncora virtual, eliminando a necessidade de uma pessoa real aparecer na câmera. A plataforma integra o processo completo, desde a redação até o áudio e o vídeo, oferecendo uma ferramenta que pode reduzir os custos e aumentar a eficiência para os usuários que precisam produzir vídeos promocionais, vídeos de ensino, vídeos curtos e outros conteúdos em massa. Ela aproveita a tecnologia da KDDI nas áreas de reconhecimento de fala, processamento de linguagem natural e geração de imagens.

Lista de funções

• Dublagem com IATexto de entrada, seleção de voz de âncora favorita e música de fundo para gerar dublagem rapidamente. Ele permite ajustar a velocidade, o tom e o volume da fala e pode inserir palavras polifônicas e a pronúncia correta de palavras em inglês.
• Vídeo do DigimonTexto de entrada, seleção de uma imagem de âncora virtual de IA, o sistema gerará automaticamente o vídeo de transmissão da âncora. Permite personalizar a imagem, a roupa e o plano de fundo da âncora.
• reprodução de somA plataforma é capaz de clonar uma voz exclusiva semelhante ao timbre do usuário para posterior dublagem.
• dubSuporte à atribuição de diferentes âncoras de IA para dublar diferentes parágrafos no mesmo arquivo, facilitando a criação de áudio na forma de diálogo.
• Modelos de vídeoFornecimento de uma variedade de modelos de vídeo predefinidos, os usuários podem aplicar rapidamente o vídeo humano digital gerado ao modelo para gerar um vídeo completo com embalagem gráfica.
• legendagem inteligenteLegendas: As legendas podem ser geradas automaticamente e combinadas com o conteúdo do vídeo enquanto o vídeo está sendo gerado.
• Caixa de ferramentas do AIGCIntegração de outras ferramentas de criação de IA para auxiliar os usuários na criação de conteúdo.

Usando a Ajuda

O Cyberoam está disponível sem instalação e pode ser usado diretamente visitando seu site oficial por meio de um navegador. Sua principal operação está centrada em duas funções principais: "AI Voiceover" e "Digital Human Video".

Processo de operação da função de dublagem AI

O objetivo do recurso AI Dubbing é converter transcrições de texto diretamente em arquivos de áudio de alta qualidade.

1. Criação de um projeto de locução
   • Acesse o site do Xunfei Intelligent Work, localize e clique no botão "AI Dubbing" ou "Create Now" na interface principal.
   • Ao entrar no Voiceover Workbench, você será solicitado a criar um novo projeto.
2. Inserção ou importação de texto
   • Na área de edição de texto no centro do workbench, você pode digitar ou colar diretamente a transcrição que precisa dublar.
   • Se o texto for longo, você poderá usar a opção导入文档Funções que suportam.txte.docxe outros formatos.
3. Escolha de uma âncora de IA
   • No lado direito do workbench está o painel "Anchor Selection" (Seleção de âncora). Há centenas de vozes de IA diferentes, chamadas de "âncoras", exibidas aqui.
   • Você pode filtrar âncoras com base em tags como idioma (mandarim, dialeto, idioma estrangeiro), estilo (por exemplo, notícias, anúncios, ficção, atendimento ao cliente) ou gênero.
   • Clique no avatar de uma âncora para fazer uma audição do tom dessa âncora. Escolha a âncora que você acha que melhor combina com o estilo do conteúdo do manuscrito.
4. Ajuste fino
   • locução de vários âncorasSe o texto tiver a forma de um diálogo, você poderá selecionar um parágrafo e atribuir uma âncora específica a ele. Dessa forma, um trecho de texto pode ter várias "pessoas" em um diálogo.
   • pausa (na fala)Quando for necessário fazer uma pausa, clique no botão da barra de ferramentas插入停顿você pode definir a duração do mudo de 0,1 a vários segundos para obter um ritmo mais natural da expressão.
   • Ajuste de pronúnciaPara caracteres polifônicos, o sistema geralmente pode determiná-los automaticamente com base no contexto, mas eles também podem ser corrigidos manualmente. Selecione um caractere chinês e use多音字para selecionar o pinyin correto. Para números ou inglês, também é possível selecionar o pinyin correto na função数字/英文para definir como ele é lido (por exemplo, se é lido como um valor numérico ou uma sequência de números).
   • Ajuste da velocidade/tom da vozNo painel direito, você pode ajustar a velocidade geral (taxa de fala) e o nível (entonação) da fala gerada.
5. Adicionar música de fundo
   • Na área "Background Music" (Música de fundo) abaixo, clique em "Add Music" (Adicionar música) para selecionar na biblioteca de música da plataforma ou carregar seus próprios arquivos de música.
   • O nível de volume da música de fundo pode ser ajustado para garantir que ela não se sobreponha aos vocais.
6. Gerar e exportar
   • Depois de concluir todas as configurações, clique no botão "Start Synthesis" (Iniciar síntese) ou "Audition" (Audição) e o sistema gerará rapidamente um pequeno trecho de áudio para visualização.
   • Depois de confirmar que você está satisfeito com o resultado, clique em "Generate Full Audio" (Gerar áudio completo). Depois de gerado, você pode encontrar o áudio em seu centro de trabalho pessoal e optar por exportá-lo como.mp3ou outros formatos.

II. processo de operação da função de vídeo humano digital

Esse recurso adiciona avatares à dublagem de IA para gerar vídeos diretamente.

1. Seleção do modo de produção de vídeo
   • Selecione "Digital People Video" ou o portal relevante na página inicial do site oficial.
   • As plataformas geralmente oferecem dois modos: um é usar os modelos predefinidos da plataforma (recomendado para iniciantes) e o outro é criar livremente.
2. Seleção de personas e cenários digitais
   • Para acessar o Video Workbench, primeiro selecione uma imagem de "pessoa digital" no lado direito. A plataforma oferece uma ampla variedade de avatares com diferentes estilos, profissões e idades.
   • Em seguida, escolha um plano de fundo para sua pessoa digital. Pode ser um fundo de cor sólida, um fundo de imagem ou uma cena predefinida, como um estúdio ou escritório. Você também pode carregar sua própria imagem ou vídeo como plano de fundo.
3. Texto do driver de entrada
   • Assim como na narração de IA, insira o texto do vídeo na caixa de texto. O texto aqui será usado tanto para gerar a narração quanto para acionar o bocal do digitalizador.
   • Nesse ponto, você também precisa escolher uma voz âncora de IA apropriada para esse texto. Essa voz será a voz de sua pessoa digital.
4. Organização da tela de vídeo
   • O CyberSmartWorks oferece uma interface de linha do tempo semelhante a um software de edição de vídeo.
   • Você pode adicionar "adesivos", "texto" e outros elementos à tela e definir o tempo de aparecimento e desaparecimento deles.
   • Se desejar, você também pode carregar suas próprias imagens ou clipes de vídeo e intercalá-los com as imagens da transmissão do Digital Man para enriquecer o conteúdo do vídeo.
5. Visualização e geração
   • Quando terminar toda a edição, clique no botão "Preview" (Visualizar) e o sistema renderizará uma pequena visualização do vídeo. Verifique a precisão da boca, da voz e dos elementos da tela da pessoa digital.
   • Depois de confirmar que não há erros, clique em "Generate Full Video" (Gerar vídeo completo). A renderização do vídeo levará algum tempo, dependendo da complexidade e da duração do vídeo.
   • Depois de concluído, você poderá fazer o download da versão final em seu trabalho artístico pessoal.mp4Arquivo de vídeo.

cenário do aplicativo

1. Criação de conteúdo de vídeo curto
   Blogueiros individuais ou equipes de marketing podem gerar rapidamente um grande número de vídeos com palavras faladas, como ciência do conhecimento, apresentações de produtos, comentários de filmes e assim por diante. Basta preparar a cópia e substituir a pessoa real por uma pessoa digital com IA para aparecer no filme, aumentando consideravelmente a frequência das atualizações de conteúdo.
2. Treinamento e comunicações corporativas
   As empresas podem usá-lo para produzir materiais de treinamento interno, vídeos de apresentação de políticas ou notícias corporativas para divulgação externa. O uso de um personagem e uma voz digitais unificados ajuda a desenvolver uma imagem de marca padronizada e, ao mesmo tempo, reduz o custo de contratação de atores e equipes de filmagem.
3. Produção de material didático educacional
   Professores ou instituições educacionais podem usar a plataforma para converter rapidamente planos de aula escritos em audiolivros ou vídeos instrucionais. Isso é especialmente útil para o aprendizado de idiomas, narração de histórias e outros cenários em que os formatos vívidos de áudio e vídeo são mais atraentes para os alunos do que um simples texto.
4. Transmissão e notificação de anúncios
   Shopping centers, metrôs, lojas on-line e outros locais podem gerar rapidamente anúncios em áudio ou notificações de serviços para atividades promocionais. As vantagens de baixo custo e alta eficiência da dublagem com IA são óbvias quando se trata de cenários que exigem mudanças frequentes de conteúdo.

QA

1. O Cyberwisdom é gratuito?
   A plataforma oferece uma versão de avaliação gratuita, que permite aos usuários experimentar os recursos básicos de dublagem e geração de vídeo. No entanto, a versão gratuita é limitada quanto ao número de âncoras disponíveis, à qualidade e à duração dos arquivos exportados, e pode vir com uma marca d'água. Para ter acesso a mais âncoras premium, saídas de áudio e vídeo de maior qualidade e durações de produção mais longas, é necessário ter uma assinatura.
2. Os sons e vídeos gerados estão disponíveis comercialmente?
   Isso depende do pacote de associação que você adquirir. Normalmente, o conteúdo de áudio e vídeo gerado pela versão comercial paga da associação é autorizado para uso comercial. O uso comercial do conteúdo gerado pela versão gratuita ou pessoal pode estar sujeito a riscos de direitos autorais, e você precisa ler atentamente o contrato de serviço da plataforma antes de usá-lo.
3. Posso dublar com minha própria voz?
   Você pode. A Xunfei Zhizuo oferece uma função de "replicação de voz". Você precisa seguir as instruções para gravar um texto específico (geralmente precisa de dezenas a centenas de frases), a plataforma usará essas gravações para treinar um modelo de voz de IA que imita seu timbre. Depois disso, você pode escolher essa voz "clonada" ao dublar.
4. A boca e a voz do vídeo do Digimon são exatamente iguais?
   Na maioria dos casos, a sincronização entre o formato da boca e a voz é relativamente precisa. Uma das principais tecnologias da plataforma é a previsão labial, que conduzirá os movimentos da boca do avatar com base na pronúncia. No entanto, para algumas combinações de palavras rápidas ou complexas, ocasionalmente pode haver pequenos desvios, que podem ser otimizados com o ajuste da pausa e da velocidade do texto.