ToonComposer：カートゥーンアニメーション制作を簡素化するAI生成ツール

ToonComposerは、テンセントのARCラボが開発したツールで、ジェネレーティブAI技術を使って従来の漫画やアニメーションの制作プロセスを効率化する。ToonComposerは、キーフレーム間のトランジションを描き（「中間フレーム」生成と呼ばれるプロセス）、各フレームに色を塗るという、時間と労力のかかる手作業の繰り返しを自動化することを目指している。ユーザーは、数枚のキーカラー画像と簡単なスケッチをガイドとして提供するだけで、AIモデルが自動的にそれらの間のトランジション・アニメーションをすべて生成し、色付けも完了し、滑らかなカートゥーン動画が完成します。このツールはアニメーション制作のサイクルを大幅に短縮し、クリエイターは退屈なポストプロダクションよりも、クリエイティブでストーリー性のあるデザインの核となる部分にエネルギーを注ぐことができる。プロジェクト全体はオープンソースであり、コードと事前に学習されたモデルは一般に公開されており、ユーザーが直接体験して使用できるよう、ウェブベースのインタラクティブ・インターフェースが提供されている。

機能一覧

• 中間フレームの自動生成ユーザーは、開始と終了のキーフレーム画像またはスケッチを提供するだけで、モデルは自動的に中間遷移アニメーションを生成することができます。
• 自動カラーリング: ユーザーが指定した色のキーフレームに基づいて、アニメーション・シーケンス全体にモデルを自動的に着色することができます。
• テキスト・チップ・ガイド自然言語テキスト（プロンプト）を使用して、希望するアニメーションの内容やスタイルを記述できます。
• スケッチ・ガイダンス・コントロールキャラクタの動きやフォルムをより正確にコントロールするために、特定のフレーム位置にスケッチを挿入することができます。
• ダイナミック・エリア・コントロールモーションマスク」を描くことで、よりダイナミックな変化を必要とするフレームの領域を指定することができます。
• 複数の解像度をサポートこのモデルは、以下のような異なる解像度のビデオ生成をサポートしています。480p歌で応える608p.
• パラメトリック調整CFGスケール(Classifier Free Guidance Scale)やResidual Scaleなど、様々なパラメータ調整オプションにより、生成される映像の細部を微調整することができます。
• 地域展開ローカルコンピューターでの起動をサポートする完全なインストールガイドが提供されています。
• ウェブ・インタラクティブ・インターフェイスユーザーがブラウザから直接クリップをアップロードし、ビデオを生成できるようにするためです。

ヘルプの使用

ToonComposer は、ユーザーが自分のコンピュータで実行できるように、ローカルに配置された Web アプリケーションを提供します。以下は、詳細なインストールと使用手順です。

設置プロセス

1. クローン・コード・リポジトリ
   まず、ToonComposer のソースコードを GitHub からローカルにクローンする必要があります。ターミナル（コマンドラインツール）を開き、以下のコマンドを入力する：

   git clone https://github.com/TencentARC/ToonComposer
   

   次にプロジェクト・ディレクトリに移動する：

   cd ToonComposer
   

2. Conda環境の作成と有効化
   コンピュータ上の他のPythonプロジェクトとの依存関係の衝突を避けるために、Condaを使って別の環境を作ることをお勧めします。

   conda create -n tooncomposer python=3.10 -y
   

   環境が正常に作成されたら、この新しい環境をアクティブにします：

   conda activate tooncomposer
   

3. 依存ライブラリのインストール
   プロジェクトに必要な依存ライブラリはrequirements.txtファイルを使用してください。ファイルを使用する。pipコマンドを使用してインストールします。さらにflash-attn図書館

   pip install -r requirements.txt
   pip install flash-attn==2.8.2 --no-build-isolation
   

   銘記する公式ドキュメントによると、この設定は現在Linux上でのみテストされている。

4. モデルウェイトのダウンロード
   ToonComposerは2つのコアモデルに依存しています。Wan2.1 I2VもうひとつはToonComposer独自のモデルウェイト。初めてアプリを起動すると、プログラムは自動的にローカルキャッシュをチェックし、もしモデルが存在しなければ、自動的にHugging Face Hubからダウンロードします。モデルファイルがかなり大きいため、このプロセスには時間がかかる場合があります。

ウェブアプリケーションの起動

インストールが完了したら、ターミナルで以下のコマンドを実行してウェブ・アプリケーションを起動する：

python app.py

起動に成功すると、ターミナルに以下のような出力が表示される。7860ポートで実行されている：

Running on local URL:  http://127.0.0.1:7860

ブラウザを開き、このアドレス（http://localhost:7860）にアクセスすると、ToonComposer のインターフェースが表示されます。

機能 操作の流れ

ウェブインターフェイスに入ると、いくつかの主な入力エリアが表示されます。ここでは、アニメーションビデオを生成するための正確な手順は次のとおりです：

1. 基本パラメーターの設定
   • テキストプロンプト一番上のテキストボックスに、アニメーションさせたい内容を入力します。例えば、"A boy running in the wind "のように。
   • 出力フレーム数生成するビデオの総フレーム数を設定します。フレーム数が多いほど、動画は長くなります。
   • 決議ビデオの解像度を選択します。480p.
2. キーフレームカラー画像のアップロード
   これが最も重要なステップです。アニメーションの出発点として、少なくとも1つのカラー画像を提供する必要があります。
   • このチャートは、通常、最初のページに置かれる。0フレーム。
   • アップロードエリアをクリックし、カラー画像ファイルを選択してください。この画像は、アニメーション全体のスタイル、キャラクター、背景のトーンを設定します。
3. キーフレームスケッチのアップロード
   アニメーションの途中で動きをコントロールするために、異なるフレーム位置にスケッチを追加することができます。
   • 例えば、キャラクターがフレーム10で特定のアクションをするようにしたい場合、そのアクションのスケッチを描いてアップロードし、最初の10フレーム。
   • 複数のスケッチをアップロードして、アニメーションの異なるノードをコントロールできます。
4. (オプション）モーションマスクを描く
   スケッチをアップロードする際、インターフェイスに用意されているブラシツールを使って、スケッチ上に黒い部分を描くことができます。これらの黒い領域は「モーションマスク」と呼ばれ、モデルに「これらの領域はより自由に、より誇張して動くことができます」と伝えます。これは、髪が流れたり、服が揺れたりなどのエフェクトを作成するのに非常に便利です。
5. 高度なパラメータの調整
   • CFGスケールこのパラメータは、生成されるコンテンツがどの程度あなたのテキスト的な合図に適合するかを制御します。値が高いほど、AIはより忠実にテキスト説明を生成しますが、創造性が犠牲になる可能性があります。
   • 位置を考慮した残留スケールこのパラメータは、生成されるビデオのディテールと安定性を調整するために使用します。さまざまな値を試して効果を確認することができます。
6. ビデオの作成
   すべての設定が完了したら、「生成」ボタンをクリックします。モデルが入力の処理を開始し、ビデオを生成します。処理状況はインターフェースの右下に表示され、終了すると生成されたビデオが再生され、ここからダウンロードできます。

アプリケーションシナリオ

1. アニメーション
   プロのアニメーションスタジオや個人のアニメーターにとって、ToonComposerは制作パイプラインの効率的なツールとなります。アニメーションの中間フレームをすばやく生成できるため、アニメーターは重労働の反復作業から解放され、絵コンテ、キャラクターデザイン、キーフレーム作成など、よりクリエイティブな作業に時間を割くことができます。
2. ゲーム開発
   2Dゲーム開発では、歩く、攻撃する、呪文を唱えるなどのキャラクタの動作に多数のアニメーションフレームが必要です。ToonComposerを使用すると、開発者は少ないキーフレーム数で完全なアクションシーケンスをすばやく生成できるため、アートリソース制作のコストと時間を効果的に削減できます。
3. 教育とトレーニング
   アニメーション制作を学ぶ学生や初心者に、ToonComposer はキーフレームと中間フレームの概念を直感的に理解する方法を提供します。キーフレームのさまざまな組み合わせを試すことで、最終的なアニメーション効果をすぐに確認でき、学習プロセスが加速します。
4. コンテンツ制作
   ソーシャルメディア・コンテンツ制作者、VTuber、ビデオ・ブロガーは、ToonComposerを使って短いアニメーション・クリップやアニメーション絵文字パッケージを素早く作成し、コンテンツのフォーマットを充実させ、動画の楽しさと魅力を高めることができます。

品質保証

1. ToonComposer はどのオペレーティングシステムをサポートしていますか？
   公式GitHubページによると、現在のインストール構成は主にLinux上でテストされている。WindowsやmacOSでも動作する可能性はあるが、未知の依存ライブラリの互換性の問題が発生する可能性がある。
2. ToonComposerを実行するには、どの程度のグラフィックカードが必要ですか？
   ToonComposer は、高いコンピューティングリソースを必要とする大規模な生成 AI モデルに基づいています。公式の最小構成は示されていませんが、このようなモデルを実行するには通常、大容量ビデオメモリを搭載したNVIDIAグラフィックカード（RTX 30シリーズまたは40シリーズなど）が必要です。
3. 生成されたビデオが満足のいくものでなかった場合、どうすればよいですか？
   生成モデルであるため、生成するたびに結果が異なる場合があります。結果に満足できない場合は、次のいずれかの調整方法をお試しください：ランダムシード（Seed）の変更、CFG Scaleなどのパラメータの調整、より明確な動作ガイダンスを提供するためのキーフレームスケッチの追加または修正、テキストプロンプトの最適化。
4. このツールは無料ですか？
   はい、ToonComposer はオープンソースプロジェクトであり、そのソースコードとモデルウェイトは、プロジェクトとともに提供される LICENSE ファイルの規定に従って、自由に入手および使用できます。