MoviiGen 1.1

MoviiGen1.1 是由 ZuluVision 开发的一款开源人工智能工具，专注于从文本生成高质量视频。它支持 720P 和 1080P 分辨率，特别适合需要电影级视觉效果的专业视频制作。用户可以通过简单的文本描述生成具有自然动态和一致美感的视频。MoviiGen1.1 提供模型权重和推理代码，基于 PyTorch 框架，易于部署和使用。它的开放性和高性能使其成为视频创作者和开发者的理想选择，广泛应用于影视制作、广告和创意内容生成。

Function List

• 支持 720P 和 1080P 高分辨率视频生成，推荐 1080P 和 21:9 宽高比 (1920×832) 以获得电影级效果。
• 提供文本转视频功能，通过描述场景、主体和动作生成高质量视频。
• 包含提示词扩展模型，基于 Qwen2.5-7B-Instruct 微调，提升文本描述的细节和生成效果。
• 开源模型权重和推理代码，支持本地部署和定制化开发。
• 支持专业级视频生成，适合影视制作、广告和创意内容创作。
• 提供 FastVideo 插件支持，优化视频生成性能。
• 兼容 PyTorch 2.4.0 及以上版本，易于集成到现有开发环境。

Using Help

Installation process

要使用 MoviiGen1.1，用户需先完成环境配置和模型安装。以下是详细步骤：

1. clone warehouse
   在终端运行以下命令，获取 MoviiGen1.1 源码：

   git clone https://github.com/ZulutionAI/MoviiGen1.1.git
   cd MoviiGen1.1
   

2. Installation of dependencies
   确保系统已安装 Python 3.10 及以上版本，并安装 PyTorch 2.4.0 或更高版本。运行以下命令安装依赖：

   pip install -r requirements.txt
   

   此外，需根据官方指引安装 FastVideo 插件，具体说明可在 FastVideo 的 GitHub 页面找到。

3. Download model
   MoviiGen1.1 模型托管在 Hugging Face 上。使用 huggingface-cli 下载模型文件：

   pip install "huggingface_hub[cli]"
   huggingface-cli download ZuluVision/MoviiGen1.1 --local-dir ./MoviiGen1.1
   

   模型支持 T2V-14B 架构，下载后会存储在 ./MoviiGen1.1 Catalog.

4. Verification Environment
   确保 GPU 硬件支持（推荐 20GB 以上显存以生成 1080P 视频）。检查 PyTorch 是否正确识别 GPU：

   python -c "import torch; print(torch.cuda.is_available())"
   

   exports True Indicates successful environment configuration.

Usage

MoviiGen1.1 的核心功能是通过文本提示词生成视频。以下是具体操作流程：

1. 基本视频生成

用户可以通过运行推理脚本生成视频。示例命令：

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步，背景是繁忙的都市街道，阳光洒在地面，镜头缓慢移动，展现明亮色彩。"

• --ckpt_dir：指定模型文件路径。
• --prompt：输入描述场景的文本，建议 100-200 字，包含场景、主体、动作、审美风格和镜头移动。

2. 使用提示词扩展模型

MoviiGen1.1 提供基于 Qwen2.5-7B-Instruct 微调的提示词扩展模型，增强文本描述的细节。启用该功能：

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步。" --use_prompt_extend --prompt_extend_model ZuluVision/MoviiGen1.1_Prompt_Rewriter

提示词扩展会自动丰富描述，例如补充场景细节、光影效果等，提升生成视频的质量。

3. 推荐提示词格式

为获得最佳效果，提示词需包含以下元素：

• Scene Description：如“烟雾弥漫的侦探办公室，百叶窗投下锐利阴影”。
• main part：如“疲惫的侦探坐在桌后”。
• movements：如“点燃香烟，吐出一缕烟雾”。
• 审美风格：如“黑白高对比度，1940年代黑色电影风格”。
• 镜头移动：如“静态中景镜头，聚焦侦探”。
  示例提示词：

在烟雾弥漫的侦探办公室，百叶窗投下锐利阴影，疲惫的侦探坐在桌后，点燃香烟，吐出一缕烟雾。画面为黑白高对比度，呈现1940年代黑色电影风格，镜头为静态中景，聚焦侦探，营造压抑氛围。

4. 输出设置

• resolution (of a photo)：默认支持 720P 和 1080P，推荐 1080P（1920×832）以获得电影级效果。
• 生成时长：生成 1080P 视频需较长时间，建议使用高性能 GPU（如 RTX 4090，20GB 显存）。
• output path：生成视频默认保存在 ./MoviiGen1.1/output 目录，可在推理脚本中指定其他路径。

5. Optimizing performance

• FastVideo 插件：安装后可加速视频生成，具体配置参考 FastVideo 文档。
• 显存优化：若显存不足，可尝试生成 720P 视频，降低内存需求。
• batch file：支持多提示词批量生成，修改推理脚本以循环处理多个提示词。

caveat

• 确保网络连接稳定，以下载模型和依赖。
• 高分辨率视频生成对硬件要求较高，建议使用高性能 GPU。
• 提示词质量直接影响生成效果，建议多尝试不同描述风格。
• 定期检查 GitHub 仓库更新，获取最新模型和代码。

application scenario

1. film and television production
   MoviiGen1.1 适合生成电影预告片、短片或场景片段。用户可通过详细的文本描述快速生成具有专业光影效果的视频，降低传统拍摄成本。
2. 广告创意
   广告团队可利用 MoviiGen1.1 生成产品宣传视频。例如，输入描述品牌产品的场景和动作，快速生成高质量广告素材，节省制作时间。
3. game development
   游戏开发者可使用 MoviiGen1.1 生成过场动画或环境背景视频，支持高分辨率和定制化风格，满足游戏叙事需求。
4. Education and training
   教育工作者可生成教学视频，展示历史场景或科学实验的动态画面，提升教学内容的吸引力和直观性。

QA

1. MoviiGen1.1 是否免费？
   是的，MoviiGen1.1 是开源工具，模型权重和推理代码免费提供，用户可从 GitHub 和 Hugging Face 下载使用。
2. 生成 1080P 视频需要什么硬件？
   推荐使用至少 20GB 显存的 GPU（如 NVIDIA RTX 4090）。生成 720P 视频可用较低配置，但仍需 GPU 支持。
3. 如何优化生成的视频质量？
   使用详细的提示词，包含场景、主体、动作和风格描述。启用提示词扩展模型可进一步提升细节。确保硬件支持 1080P 生成以获得最佳效果。
4. 是否支持 Windows 和 Linux？
   是的，MoviiGen1.1 支持 Windows 和 Linux，只要安装了 Python 3.10+ 和 PyTorch 2.4.0+ 即可运行。
5. How long does it take to generate a video?
   取决于硬件和分辨率。1080P 视频可能需要数分钟到数小时，720P 较快。使用高性能 GPU 和 FastVideo 插件可缩短时间。