ToonComposer: ferramenta de geração de IA para simplificar a produção de animação de desenhos animados

O ToonComposer é uma ferramenta desenvolvida pelo ARC Lab da Tencent que usa tecnologia de IA generativa para simplificar o processo tradicional de produção de desenhos animados e animações. O ToonComposer tem como objetivo automatizar o trabalho manual repetitivo de desenhar transições entre quadros-chave (um processo conhecido como geração de "quadro intermediário") e colorir cada quadro, o que consome muito tempo e trabalho. Os usuários só precisam fornecer algumas imagens coloridas importantes e alguns esboços simples como guia, e o modelo de IA gera automaticamente todas as animações de transição entre elas, completas com a coloração, resultando em um vídeo de desenho animado suave. Essa ferramenta encurta bastante o ciclo de produção de animação, de modo que os criadores possam dedicar mais energia ao design criativo e narrativo principal, em vez da tediosa pós-produção. Todo o projeto é de código aberto, o código e os modelos pré-treinados foram lançados publicamente, e uma interface interativa baseada na Web é fornecida para que os usuários possam experimentar e usar diretamente.

Lista de funções

• Geração automática de quadros intermediáriosO usuário só precisa fornecer imagens ou esboços de quadros-chave iniciais e finais, e o modelo pode gerar automaticamente animações de transição intermediárias.
• Coloração automáticaCores: O modelo pode ser colorido automaticamente para toda a sequência de animação com base nos quadros-chave coloridos fornecidos pelo usuário.
• Guias de dicas de textoSuporte ao uso de texto em linguagem natural (Prompt) para descrever o conteúdo ou o estilo de animação desejado.
• Controle de orientação de esboçoPermite que o usuário insira esboços em locais específicos do quadro para um controle mais preciso do movimento e da forma do personagem.
• Controle dinâmico de áreaOs usuários podem especificar quais áreas do quadro exigem mudanças mais dinâmicas desenhando "máscaras de movimento" que permitem que o modelo gere movimentos mais livres nessas áreas.
• Suporte a várias resoluçõesO modelo suporta a geração de vídeos com diferentes resoluções, como480presponder cantando608p.
• Ajuste paramétricoEscala CFG (Classifier Free Guidance Scale) e Escala Residual: Uma variedade de opções de ajuste de parâmetros, como a Escala CFG (Classifier Free Guidance Scale) e a Escala Residual, permite que os usuários ajustem os detalhes do vídeo gerado.
• Implementação localizada: Um guia de instalação completo é fornecido para ajudar na instalação e execução em seu computador local.
• Interface interativa da WebInterface da Web de fácil utilização: Uma interface da Web de fácil utilização foi criada com a biblioteca Gradio, permitindo que os usuários façam upload de clipes e gerem vídeos diretamente de seus navegadores.

Usando a Ajuda

O ToonComposer fornece um aplicativo da Web implantado localmente que permite aos usuários executá-lo em seus próprios computadores. Veja a seguir o procedimento detalhado de instalação e uso.

Processo de instalação

1. Repositório de código clone
   Em primeiro lugar, você precisa clonar o código-fonte do ToonComposer localmente a partir do GitHub. Abra um terminal (ferramenta de linha de comando) e digite o seguinte comando:

   git clone https://github.com/TencentARC/ToonComposer
   

   Em seguida, vá para o diretório do projeto:

   cd ToonComposer
   

2. Criar e ativar o ambiente Conda
   Para evitar conflitos de dependência com outros projetos Python em seu computador, é recomendável criar um ambiente separado usando o Conda.

   conda create -n tooncomposer python=3.10 -y
   

   Depois que o ambiente for criado com sucesso, ative esse novo ambiente:

   conda activate tooncomposer
   

3. Instalação de bibliotecas dependentes
   As bibliotecas de dependência exigidas pelo projeto estão documentadas na seçãorequirements.txtarquivo. Use opippara realizar a instalação. Além disso, uma instalação separada doflash-attnBiblioteca.

   pip install -r requirements.txt
   pip install flash-attn==2.8.2 --no-build-isolation
   

   tomar nota deDe acordo com a documentação oficial, essa configuração só foi testada no Linux no momento.

4. Download dos pesos do modelo
   O ToonComposer se baseia em dois modelos principais: um é o modelo básicoWan2.1 I2VO outro éToonComposerPesos próprios do modelo. Quando você executar o aplicativo pela primeira vez, o programa verificará automaticamente o cache local e, se o modelo não existir, ele o baixará automaticamente do Hugging Face Hub. Esse processo pode levar algum tempo, pois os arquivos do modelo são bastante grandes.

Iniciando o aplicativo da Web

Após concluir a instalação, execute o seguinte comando no terminal para iniciar o aplicativo da Web:

python app.py

Depois de uma inicialização bem-sucedida, você verá uma saída semelhante à seguinte no terminal, indicando que o aplicativo está sendo executado localmente no diretório7860em execução na porta:

Running on local URL:  http://127.0.0.1:7860

Agora, abra seu navegador e acesse este endereço (http://localhost:7860) para ver a interface do ToonComposer.

Função Fluxo de operação

Ao entrar na interface da Web, você verá várias áreas de entrada principais. Aqui estão as etapas exatas para gerar um vídeo animado:

1. Configuração dos parâmetros básicos
   • Prompt de textoNa caixa de texto na parte superior, digite o texto que descreve o que você deseja animar. Por exemplo, "Um garoto correndo ao vento".
   • Número de quadros de saídaNúmero de quadros: Defina o número total de quadros que você deseja que o vídeo gerado tenha. Quanto mais quadros, mais longo será o vídeo.
   • ResoluçãoResolução do vídeo: Selecione a resolução do vídeo, o padrão é480p.
2. Carregar imagens coloridas de quadros-chave
   Esta é a etapa mais importante. Você precisa fornecer pelo menos uma imagem colorida como ponto de partida para a animação.
   • Esse gráfico geralmente é colocado no primeiro0Molduras.
   • Clique na área de upload e selecione seu arquivo de imagem colorida. Essa imagem define o tom para o estilo, o caráter e o plano de fundo de toda a animação.
3. Carregar esboços de quadros-chave
   Para controlar o movimento durante o meio da animação, você pode adicionar esboços em diferentes posições de quadro.
   • Por exemplo, se você quiser que um personagem faça uma ação específica no quadro 10, poderá desenhar um esboço dessa ação e carregar uma designação para que ela seja usada no primeiro10Molduras.
   • Você pode carregar vários esboços para controlar diferentes nós da animação.
4. (Opcional) Desenhar máscara de movimento
   Ao fazer o upload de um esboço, você pode usar a ferramenta de pincel fornecida na interface para pintar áreas pretas no esboço. Essas áreas pretas são chamadas de "Motion Masks" (Máscaras de movimento) e informam ao modelo que "essas áreas podem se mover de forma mais livre e exagerada". Isso é muito útil para criar efeitos como cabelos fluindo, roupas balançando, etc.
5. Ajuste de parâmetros avançados
   • Escala CFGDescrição: Esse parâmetro controla o grau de conformidade do conteúdo gerado com suas dicas textuais. Quanto mais alto o valor, mais a IA gerará sua descrição textual, mas possivelmente às custas de alguma criatividade.
   • Escala residual com reconhecimento de posiçãoValor de detalhe: Esse parâmetro é usado para ajustar os detalhes e a estabilidade do vídeo gerado. Você pode experimentar valores diferentes para ver o efeito.
6. Gerar vídeo
   Quando todas as configurações estiverem concluídas, clique no botão "Generate" (Gerar). O modelo começará a processar sua entrada e gerará um vídeo. O status do processo será mostrado no canto inferior direito da interface e, quando concluído, o vídeo gerado será reproduzido e estará disponível para download aqui.

cenário do aplicativo

1. animação
   Para estúdios de animação profissionais ou animadores individuais, o ToonComposer pode ser uma ferramenta eficiente no pipeline de produção. Ele pode gerar rapidamente quadros intermediários de animação, liberando os animadores do trabalho pesado e repetitivo para que possam dedicar mais tempo a tarefas mais criativas, como storyboarding, design de personagens e keyframing.
2. desenvolvimento de jogos
   No desenvolvimento de jogos 2D, é necessário um grande número de quadros de animação para os movimentos dos personagens, como andar, atacar e lançar feitiços. Com o ToonComposer, os desenvolvedores podem gerar rapidamente sequências de ação completas com um pequeno número de quadros-chave, reduzindo efetivamente o custo e o tempo de produção de recursos de arte.
3. Educação e treinamento
   Para estudantes ou iniciantes que estão aprendendo a produzir animação, o ToonComposer oferece uma maneira intuitiva de entender o conceito de quadros-chave e quadros intermediários. Eles podem ver rapidamente o efeito final da animação experimentando diferentes combinações de quadros-chave, acelerando o processo de aprendizado.
4. criação de conteúdo
   Os criadores de conteúdo de mídia social, VTuber ou blogueiros de vídeo podem usar o ToonComposer para criar rapidamente clipes animados curtos ou pacotes de emojis animados para enriquecer o formato de seu conteúdo e aumentar a diversão e o apelo de seus vídeos.

QA

1. Quais sistemas operacionais são compatíveis com o ToonComposer?
   De acordo com a página oficial do GitHub, a configuração de instalação atual foi testada principalmente no Linux. Embora também possa funcionar no Windows ou no macOS, ela pode encontrar problemas de compatibilidade com bibliotecas de dependências desconhecidas.
2. Qual é a qualidade da placa de vídeo necessária para executar o ToonComposer?
   O ToonComposer é baseado em grandes modelos de IA generativa que exigem altos recursos de computação. Embora não haja uma configuração mínima oficial, a execução desses modelos geralmente requer uma placa de vídeo NVIDIA com grande memória de vídeo (por exemplo, RTX série 30 ou 40) para obter um bom desempenho e uma boa experiência.
3. O que devo fazer se o vídeo gerado não for satisfatório?
   Como se trata de um modelo generativo, os resultados podem ser diferentes a cada vez que ele é gerado. Se não estiver satisfeito com os resultados, tente um dos seguintes métodos de ajuste: altere a semente aleatória (Seed), ajuste parâmetros como CFG Scale, adicione ou modifique esboços de quadros-chave para fornecer uma orientação de movimento mais clara ou otimize os prompts de texto.
4. Essa ferramenta é gratuita?
   Sim, o ToonComposer é um projeto de código aberto, e seu código-fonte e pesos de modelo estão disponíveis gratuitamente e podem ser usados, sujeitos às disposições do arquivo LICENSE fornecido com o projeto.