Code2Video：コード駆動による高品質なプレゼンテーションビデオの生成のためのインテリジェントなボディフレームワーク

Code2Videoは、NUS Show Labが開発した画期的な動画生成フレームワークであり、高品質な教育用動画の「コード中心」生成を基本理念としている。ピクセルを直接生成する従来のAI動画モデル（Soraなど）とは異なり、Code2Videoは動画を直接「描画」するのではなく、実行可能なPythonコード（Manimエンジンベース）を記述することで動画を「レンダリング」する。このアプローチは、従来のビデオ生成モデルの問題を解決します。このアプローチは、論理的な厳密さ、幾何学的な正確さ、テキストの明瞭さといった従来の動画生成モデルの欠点に対処するもので、数学、物理学、コンピュータサイエンスなど、正確な表現を必要とするSTEMタイプの教育用動画の生成に特に適している。このフレームワークは、ストーリーボードをデザインするプランナー、コードを書いてデバッグするコーダー、ビジュアルレビューと最適化を行うクリティックという3つの共同AIインテリジェンスで構成されている。このコラボレーションにより、Code2Videoは、シンプルなテキスト知識のナゲットを、3Blue1Brownスタイルのようなマニュアル制作に匹敵するプロフェッショナルな教育ビデオに変えることができる。

機能一覧

• インテリジェントな分割画面プランニング（プランナーエージェント）入力されたナレッジポイントや短いテキストを、詳細なビデオスクリプトや、ビデオの起伏を計画するビジュアルストーリーボードに自動的に変換します。
• 自動コード生成（コーダーエージェント）自然言語スクリプトを、複雑な数式、ジオメトリ、アニメーションロジックをサポートする実行可能なPython (Manim) コードに変換します。
• 自己修復とデバッグ組み込みのエラー検出メカニズム：生成されたコードがエラーを報告した場合、システムは自動的にエラーログを分析し、コードが正常に実行できるようにコードを修正することができます。
• ビジュアル・クオリティ・レビュー（評論家エージェント）視覚言語モデル（VLM）は、生成された画像のレイアウト、重なり、明瞭度をチェックし、エンコーダーにフィードバックするための変更を提案する「美的ガイド」として使用される。
• 高精度ベクトルレンダリングマニムエンジンをベースにしているため、数式やテキストにぼやけやアーチファクトがなく、無限の解像度で鮮明にレンダリングされます。
• マルチモデルAPIのサポートクロード、ジェミニ、GPT-4、その他主流の大規模言語モデルへのアクセスをバックエンドのロジックドライバとしてサポート。

ヘルプの使用

Code2Videoはオープンソースのコマンドラインツールで、実行するにはローカルに設定されたPython環境が必要です。ここでは、あなたがゼロから最初の教育ビデオを生成するのに役立つ詳細なインストールと使用プロセスを説明します。

1.環境の準備と設置

まず、AnacondaまたはMinicondaとGitがコンピューターにインストールされていることを確認する。

ステップ1：プロジェクトのコードをクローンする
ターミナルまたはコマンドプロンプトを開き、以下のコマンドを実行してプロジェクトをダウンロードする：

git clone https://github.com/showlab/Code2Video.git
cd Code2Video

ステップ2：仮想環境の作成
依存関係の衝突を避けるために、別のPython環境を作成してください（Python 3.9以上を推奨）：

conda create -n code2video python=3.9 -y
conda activate code2video

ステップ 3: システムの依存関係をインストールする (Linux の例)
マニムエンジンは、いくつかのシステムレベルライブラリ（ffmpeg、cairoなど）を必要とする。

sudo apt-get update
sudo apt-get install libcairo2-dev libpango1.0-dev ffmpeg

注：Windowsユーザーの場合、ffmpegとlatexをインストールするには、マニムの公式ドキュメントを参照してください。

ステップ4：Pythonの依存関係をインストールする
プロジェクトは最近、依存関係を最適化し、インストール速度を大幅に改善した：

pip install -r requirements.txt

2.APIキーの設定

Code2Videoはコードを生成するためにLarge Language Modelに依存しています。LLMのAPI Keyを設定する必要があります。
プロジェクトのルート・ディレクトリ（通常は config フォルダ、または環境変数の設定)。ターミナルで直接環境変数をエクスポートすることをお勧めします：

# 以使用 Claude 为例
export ANTHROPIC_API_KEY="sk-ant-..."
# 或者使用 OpenAI
export OPENAI_API_KEY="sk-..."

ヒント：アカウントに十分な残高があることを確認する トークン 金額。

3.ビデオ制作（コア業務）

Code2Videoは便利な起動スクリプトを提供します。 run_agent_single.sh 個々の知識ポイントのビデオを生成する。

基本的なコマンドの形式：

bash run_agent_single.sh [模型API] [输出文件夹前缀] "[知识点描述]"

操作の例：
クロード-3.5-ソネットモデルを使って、次のようにピタゴラスの定理に関するビデオを作成したいとする：

1. スタートアップスクリプトの編集（オプション）::
   コマンドを直接実行するか、あるいは run_agent_single.sh デフォルトのパラメータを表示します。
2. generateコマンドの実行::

   bash run_agent_single.sh claude-3-5-sonnet test_output "The Pythagorean theorem explains the relationship between the three sides of a right-angled triangle"
   

パラメータの説明：

• claude-3-5-sonnet使用する推論モデルを指定し、強力なプログラミング能力を持つモデルを推奨する。
• test_output生成されたビデオと中間ファイルは experiments/test_output カタログ
• "..."これは最も重要なインプットで、教えたいことを一文で明確に説明することです。

4.結果を見る

プログラムが実行されている間、端末には3つのインテリジェンス間のコラボレーションのログが表示される：

1. プランナー サブプロットのよくできた説明が出力される。
2. コーダー 生成中のPythonコードを表示し、エラーが報告された場合は自動的に再試行する。
3. 評論家 現在のスクリーンの評価点が示される。

実行が完了したら experiments/test_output フォルダをご覧ください：

• .mp4 ファイル：最終レンダリングされたHDビデオ。
• .py ファイル：生成されたマニムのソースコード（手動でこのコードを修正してビデオを微調整することができます）。
• log.txt生成過程の完全なログ。

5.高度なテクニック

• カスタム素材特定のアイコンが必要な場合は、SVG ファイルを assets フォルダーに保存され、キューワードに記載されている。
• 調整長さ入力プロンプトで「約30秒のビデオを生成する」と指定すると、それに応じてプランナーがテイク数を調整します。

アプリケーションシナリオ

1. 数学と物理を教える
   教師が「フーリエ変換の基本原理を説明しなさい」と入力すると、システムは自動的に、抽象的な概念を視覚的に示す、ダイナミックな波形を重ねたアニメーションを使ったデモビデオを生成する。
2. アルゴリズムの視覚化
   コンピュータ・サイエンスの学生が「バイナリ・ルックアップ・アルゴリズムのデモンストレーション」と入力すると、技術ブログや宿題のプレゼンテーションで使用する、配列のインデックスを移動して検索するプロセスを示すアニメーションが生成される。
3. オンライン・コース制作の自動化
   教育機関は、教科書のカタログをシステムに一括入力することで、基本概念を説明する一連の短いビデオを素早く作成し、標準化されたレッスンのライブラリを構築することができる。
4. 研究論文発表
   研究者は、論文から中核となる数式やモデルロジックを入力し、学会発表やVideo Abstractで使用する高精度の概略アニメーションを生成することができます。

品質保証

1. Code2VideoとSora/Runwayの違いは何ですか？
   Code2Videoはピクセルを直接生成するのではなく、「コード」を生成します。つまり、絶対的に正しいロジック（数式に基づいているため）と、限りなく明瞭なテキストと行でビデオを生成するため、教育や科学の普及に最適です。 ソラ などのモデルは、リアルでアーティスティックなクリエイティブビデオの生成には適しているが、テキストや論理的な正確さには弱い。
2. プログラミングができなくても使えますか？
   できる。テキスト記述（プロンプトワード）を入力するだけで、システムが自動的にコードを完成させてくれる。しかし、Python/Manimを少し知っていれば、生成されたコードを直接修正し、より高度な制御を得ることができる。
3. 生成された動画が非常に短い場合は？
   現在のバージョンでは、1つのトピックについて短いビデオ（通常10～60秒）を生成します。長いビデオが必要な場合は、大きなトピックをいくつかの小さなナレッジポイントに分割して別々に生成し、最後に編集ソフトで統合することをお勧めします。
4. インストール時にffmpegが見つからない？
   マニムはビデオ合成にffmpegに強く依存しています。必ず ffmpeg -version Windowsユーザーは、手動でffmpegをダウンロードし、そのbinディレクトリをシステム環境変数Pathに追加する必要がある。
5. 中国語の入力に対応していますか？
   サポート基礎となるコードは英語ですが、知識ポイントを中国語で記述することができます。より良い効果を得るために、プロンプトに「ビデオのテキストには中国語を使用してください」を追加するか、生成されたコード内のテキストを直接中国語に置き換えることをお勧めします。