Tecnologia de visualização de scripts habilitada para IA
O recurso Script-to-Video do OpenCreator usa uma pilha de tecnologia multimodal de NLP e visão computacional. Quando o usuário insere um texto como "cena de explosão de estação espacial de ficção científica", o sistema primeiro decompõe os elementos do script por meio de um grande modelo de linguagem, incluindo dados estruturados como composição da cena (interior da estação espacial), movimento do personagem (fuga dos astronautas) e requisitos de efeitos especiais (efeitos de partículas de explosão). Em seguida, os recursos são alocados automaticamente: o Stable Diffusion é chamado para gerar quadros-chave, o Runway é usado para criar transições de cena e, por fim, o HeyGen é usado para sintetizar a narração.
Essa função oferece suporte a três níveis de controle de precisão: o modo básico completa automaticamente a cena de acordo com as palavras-chave, o modo profissional permite especificar o idioma da filmagem (como "filmar 45 graus para cima") e a versão empresarial é mais aberta ao software de escrita de scripts de acoplamento API. Os testes mostram que a inserção de um script de 500 palavras pode gerar um vídeo de 1080P em 8 minutos, com suporte à alternância automática de até 20 cenas. O caso experimental do Disney Animation Studio mostra que a eficiência da produção de subcenas aumentou em três vezes.
Essa resposta foi extraída do artigoOpenCreator: integração de vários modelos de IA para gerar vídeos criativosO
