ToonComposer：简化卡通动画制作的AI生成工具

ToonComposer是由腾讯ARC实验室开发的一款工具，它使用生成式AI技术来简化传统的卡通和动画制作流程。在传统动画生产中，艺术家需要手动绘制关键帧之间的过渡画面（这个过程称为“中间帧”生成），并为每一帧进行上色，这些工作既耗时又需要大量的人力。ToonComposer的目标就是将这些重复性的手动劳动自动化。用户只需要提供几个关键的彩色图像和一些简单的草图作为指导，AI模型就能自动生成它们之间的所有过渡动画，并完成上色，最终形成一段流畅的卡通视频。这个工具大大缩短了动画制作周期，让创作者可以将更多精力投入到核心的创意和故事设计上，而不是繁琐的后期制作。整个项目是开源的，代码和预训练模型都已公开发布，并提供了一个基于网页的交互界面，方便用户直接体验和使用。

Lista de funções

• 自动生成中间帧: 用户只需提供起始和结束的关键帧图像或草图，模型能够自动生成中间的过渡动画。
• 自动上色: 模型可以根据用户提供的彩色关键帧，为整个动画序列自动上色。
• 文本提示引导: 支持使用自然语言文本（Prompt）来描述期望的动画内容或风格。
• 草图引导控制: 允许用户在特定的帧位置插入草图，以更精确地控制角色的动作和形态。
• 动态区域控制: 用户可以通过绘制“运动蒙版”（motion mask）来指定画面中哪些区域需要更多的动态变化，让模型在这些区域生成更自由的动作。
• Suporte a várias resoluções: 模型支持生成不同分辨率的视频，例如480presponder cantando608p.
• 参数化调整: 提供多种参数调整选项，如CFG Scale（分类器自由引导尺度）和残差尺度，让用户可以微调生成视频的细节。
• Implementação localizada: 提供了完整的安装指南，支持在本地计算机上搭建和运行。
• Web交互界面: 通过Gradio库构建了一个用户友好的网页操作界面，用户可以通过浏览器直接上传素材并生成视频。

Usando a Ajuda

ToonComposer提供了一个本地部署的Web应用，让用户可以在自己的电脑上运行。以下是详细的安装和使用流程。

Processo de instalação

1. Repositório de código clone
   首先，你需要从GitHub上把ToonComposer的源代码克隆到本地。打开终端（命令行工具），输入以下命令：

   git clone https://github.com/TencentARC/ToonComposer
   

   Em seguida, vá para o diretório do projeto:

   cd ToonComposer
   

2. 创建并激活Conda环境
   为了避免与你电脑上其他Python项目产生依赖冲突，建议使用Conda创建一个独立的环境。

   conda create -n tooncomposer python=3.10 -y
   

   环境创建成功后，激活这个新环境：

   conda activate tooncomposer
   

3. Instalação de bibliotecas dependentes
   项目所需的依赖库都记录在requirements.txtarquivo. Use opip命令进行安装。此外，还需要单独安装flash-attnBiblioteca.

   pip install -r requirements.txt
   pip install flash-attn==2.8.2 --no-build-isolation
   

   tomar nota de：根据官方文档，此配置目前仅在Linux系统上经过测试。

4. Download dos pesos do modelo
   ToonComposer依赖两个核心模型：一个是基础模型Wan2.1 I2V，另一个是ToonComposer自身的模型权重。当你第一次运行应用时，程序会自动检查本地缓存，如果模型不存在，它会自动从Hugging Face Hub上下载。这个过程可能需要一些时间，因为模型文件比较大。

启动Web应用

完成安装后，在终端中运行以下命令来启动Web应用：

python app.py

启动成功后，你会在终端看到类似下面的输出，提示应用正在本地的7860端口上运行：

Running on local URL:  http://127.0.0.1:7860

现在，打开你的浏览器，访问这个地址 (http://localhost:7860)，就可以看到ToonComposer的操作界面了。

Função Fluxo de operação

进入Web界面后，你会看到几个主要的输入区域。下面是生成一段动画视频的具体操作步骤：

1. 设置基本参数
   • 文本提示 (Prompt): 在最上方的文本框中，输入描述你想要生成动画内容的文字。例如，“一个男孩在风中奔跑”。
   • 输出帧数 (Number of output frames): 设置你希望生成的视频总共有多少帧。帧数越多，视频时间越长。
   • 分辨率 (Resolution): 选择视频的分辨率，默认为480p.
2. 上传关键帧彩色图像
   这是最关键的一步。你需要提供至少一张彩色的图像作为动画的起点。
   • 这张图通常放在第0帧。
   • 点击上传区域，选择你的彩色图像文件。这张图像为整个动画的风格、角色和背景定下基调。
3. 上传关键帧草图
   为了控制动画中间过程的动作，你可以在不同的帧位置添加草图。
   • 例如，如果你想让一个角色在第10帧时做一个特定的动作，你就可以画一张这个动作的草图，并上传指定它用于第10帧。
   • 你可以上传多张草图来控制动画的不同节点。
4. （可选）绘制运动蒙版
   在上传草图时，你可以使用界面提供的画笔工具在草图上涂抹黑色区域。这些黑色区域被称为“运动蒙版”，它告诉模型：“这些区域的动作可以更自由、更夸张”。这对于制作头发飘动、衣服摆动等效果非常有用。
5. 调整高级参数
   • CFG Scale: 这个参数控制生成的内容与你的文本提示的符合程度。值越高，AI越会严格按照你的文字描述来生成，但可能会牺牲一些创造性。
   • Position-aware residual scale: 这个参数用来调整生成视频的细节和稳定性。你可以尝试不同的值来观察效果。
6. Gerar vídeo
   所有设置完成后，点击“Generate”按钮。模型会开始处理你的输入并生成视频。处理过程的状态会显示在界面右下角，完成后，生成的视频也会在这里播放和提供下载。

cenário do aplicativo

1. animação
   对于专业的动画工作室或个人动画师，ToonComposer可以作为生产管线中的一个高效工具。它可以快速生成动画的中间帧，将动画师从繁重的重复性劳动中解放出来，从而将更多时间投入到故事板创作、角色设计和关键帧绘制等更有创造性的工作中。
2. desenvolvimento de jogos
   在2D游戏开发中，角色的行走、攻击、施法等动作都需要大量的动画帧。使用ToonComposer，开发者可以通过少量关键帧快速生成完整的动作序列，有效降低美术资源制作的成本和时间。
3. Educação e treinamento
   对于正在学习动画制作的学生或初学者，ToonComposer提供了一个直观的方式来理解关键帧和中间帧的概念。他们可以通过实验不同的关键帧组合，快速看到最终的动画效果，加速学习进程。
4. criação de conteúdo
   社交媒体上的内容创作者、VTuber或视频博主可以利用ToonComposer快速制作短小的动画片段或动态表情包，丰富他们的内容形式，增加视频的趣味性和吸引力。

QA

1. ToonComposer支持哪些操作系统？
   根据官方GitHub页面的说明，目前的安装配置主要在Linux系统上进行了测试。虽然在Windows或macOS上可能也能运行，但可能会遇到未知的依赖库兼容性问题。
2. 我需要多好的显卡才能运行ToonComposer？
   ToonComposer是基于大型生成式AI模型的，对计算资源要求较高。虽然官方没有明确给出最低配置，但运行这类模型通常需要一块显存较大的NVIDIA显卡（例如RTX 30系列或40系列）才能获得较好的性能和体验。
3. 生成的视频效果不理想怎么办？
   由于是生成式模型，每次生成的结果可能都不同。如果对结果不满意，可以尝试以下方法进行调整：更改随机种子（Seed）、调整CFG Scale等参数、增加或修改关键帧草图以提供更明确的动作指导，或者优化你的文本提示。
4. Essa ferramenta é gratuita?
   是的，ToonComposer是一个开源项目，其源代码和模型权重都可以免费获取和使用，但需要遵守项目提供的LICENSE（许可证）文件中的规定。