Story2Board: generating coherent split-screen scripts from natural language stories

Story2Board 是一个无需训练的人工智能框架，它可以将用自然语言书写的文字故事，自动转换成一组具有连贯性和表现力的视觉分镜脚本（Storyboard）。传统的AI绘画工具在生成连续多张图片时，常常难以保持角色形象和场景风格的一致性。Story2Board 解决了这个问题，它不仅能确保主角在不同画面中保持相同的外观，还能兼顾画面的构图、背景变化和叙事节奏，生成电影感十足的视觉故事。该工具通过一种名为“潜在面板锚定”的技术来锁定角色的特征，并利用“相互注意力价值混合”技术来融合不同画面的视觉元素，从而在不修改底层AI模型的情况下，显著提升了故事板的连贯性和叙事效果。对于电影制作人、编剧和内容创作者来说，这是一个能快速将文字创意视觉化的实用工具。

Function List

• 文本到分镜脚本转换：将用户输入的自然语言故事，通过大型语言模型（LLM）自动解析成适合每一格画面的具体提示词（Prompt）。
• Role consistency maintained：采用“潜在面板锚定”（Latent Panel Anchoring）技术，确保故事中的同一个角色在所有连续的画面中保持一致的外观和特征。
• 场景连贯性增强：通过“相互注意力价值混合”（RAVM）技术，柔和地融合不同画面之间的视觉特征，使场景过渡更自然，故事叙事更连贯。
• 无需模型训练：作为一个“训练即用”的框架，用户不需要重新训练或微调任何AI模型，可以直接在现有的先进文生图模型（如 FLUX.1-dev）上使用。
• 灵活的场景描述：支持对参考画面和后续画面的独立描述，用户可以精确控制每一格分镜的内容，包括角色的动作、表情和背景环境。
• 结果可复现：生成的图片和用于生成这些图片的具体提示词会一同保存在输出目录中，方便用户查阅和复现结果。

Using Help

Story2Board 是一个命令行工具，通过输入描述故事的文本来生成一系列分镜图片。以下是详细的安装和使用流程。

environmental preparation

在使用前，你需要先配置好运行环境。官方推荐使用 Conda 来创建一个独立的 Python 环境，以避免与其他项目的依赖库产生冲突。

1. Installing Conda
   如果你还没有安装 Conda，可以前往 Anaconda 官网 下载并安装。
2. Cloning Project Warehouse
   打开你的终端（Terminal），使用 git 命令将 Story2Board 的代码克隆到本地。

   git clone https://github.com/DavidDinkevich/Story2Board.git
   

3. Go to the project directory

   cd Story2Board
   

4. Create and activate a Conda environment
   使用以下命令创建一个名为 story2board 的新环境，并指定 Python 版本为 3.12。

   conda create -n story2board python=3.12
   

   环境创建成功后，激活该环境：

   conda activate story2board
   

5. Installation of dependent libraries
   项目所需的依赖库都记录在 requirements.txt file. Use the pip 命令进行安装。

   pip install -r requirements.txt
   

   draw attention to sth.：如果你的电脑有 NVIDIA 显卡并希望使用 CUDA 进行加速，建议先按照 PyTorch 官网 的指引，安装一个支持你显卡驱动版本的 PyTorch，然后再运行上面的 pip install 命令。这可以确保 PyTorch 的 CUDA 版本正确匹配。

How to use

Story2Board 的核心是一个名为 main.py 的 Python 脚本。你需要通过命令行来运行它，并提供一些必要的参数来描述你想要生成的故事。

核心参数说明

• --subject：指定故事的主角。这个描述非常关键，因为它将用于确保角色在所有分镜中的一致性。例如，“一个微笑的男孩”或“一只皮毛闪闪发光、眼睛炯炯有神的狐狸”。
• --ref_panel_prompt：对参考画面的描述。这是故事的起始画面，也是后续所有画面中角色形象的参照标准。描述需要包含场景和角色的动作。
• --panel_prompts：对后续其他分镜画面的描述。你可以提供一个或多个描述，每个描述对应一个新的分镜画面。在这些描述中，你不需要重复提及主角的详细特征，只需描述他的新动作和新场景即可。
• --output_dir：指定生成图片和日志的保存路径。

Procedure for use

1. 构思你的故事
   首先，想一个简单的故事，并确定你的主角形象。将故事拆分成几个关键画面。
2. 编写命令行
   打开终端，并确保你已经激活了 story2board 环境。然后按照以下格式编写命令：

   python main.py --subject "你的主角描述" \
   --ref_panel_prompt "参考画面的描述" \
   --panel_prompts "第1个后续画面的描述" "第2个后续画面的描述" "第3个后续画面的描述" \
   --output_dir "保存结果的文件夹路径"
   

concrete example

让我们来看一个官方提供的具体例子，这个故事的主角是一只神奇的狐狸。

protagonists::fox with shimmering fur and glowing eyes (一只皮毛闪闪发光、眼睛炯炯有神的狐狸)

故事画面:

1. 参考画面: 狐狸走进一片暮色中的森林，踏上了一条长满苔藓的石板路。
2. 画面二: 狐狸从一棵倒下的树上跳过，下方是云雾缭绕的峡谷。
3. 画面三: 狐狸栖息在一个古老石头的破损拱门上，周围挂着藤蔓和银色苔藓，背景是暮光之城。
4. 画面四: 狐狸在一个能完美倒映星辰的发光湖泊边缘，观看一场流星雨。

根据这些画面，你可以编写如下的命令：

python main.py \
--subject "fox with shimmering fur and glowing eyes" \
--ref_panel_prompt "stepping onto a mossy stone path under twilight trees" \
--panel_prompts "bounding across a fallen tree over a mist-covered ravine glowing faintly with constellations" "perched atop a broken archway of ancient stone, vines and silver moss hanging down, the twilight sky glowing behind him" "watching a meteor shower from the edge of a luminous lake that reflects the stars perfectly" \
--output_dir outputs/magical_fox_story

3. View Results
   运行命令后，程序会自动下载所需的AI模型并开始生成图片。这个过程可能会花费一些时间，具体取决于你的硬件性能。
   完成后，你可以在 outputs/magical_fox_story 文件夹中找到生成的分镜图片。其中，第一张是参考图，后续图片则延续了主角的形象，但展示了不同的场景和动作。同时，文件夹中还会保存用于生成每个画面的详细提示词日志，方便你进行分析和复现。

通过这个流程，你就可以利用 Story2Board 将任何文字故事快速地视觉化，创作出连贯且富有表现力的分镜脚本。

application scenario

1. 电影与动画前期制作
   导演和编剧可以使用 Story2Board 快速将剧本中的关键场景转换成视觉分镜。这有助于团队在前期就统一对画面的构图、氛围和角色动作的理解，大大节省了传统手绘分镜的时间和成本。
2. 广告与营销内容创作
   广告创意人员可以利用此工具，迅速将广告脚本或营销故事生成一系列视觉画面，用于内部提案或客户沟通，更直观地展示创意效果。
3. 小说与游戏概念设计
   小说作者或游戏设计师可以输入故事情节的文字描述，生成角色的概念图或关键场景的插画，帮助读者或开发团队更好地想象故事中的世界。
4. Education & Presentation
   教师或演讲者可以将复杂的叙事内容或历史故事，通过生成分镜脚本的方式进行可视化呈现，让教学或演示内容更加生动、易于理解。

QA

1. Story2Board 使用的是什么AI模型？
   它本身是一个无需训练的框架，可以搭配先进的文生图（Text-to-Image）模型使用。根据其官方文档，它目前默认使用的基础模型是 FLUX.1-devThe
2. 使用这个工具有额外的费用吗？
   Story2Board 项目本身是开源免费的。但它依赖于强大的文生图模型，在本地运行时需要高性能的计算机硬件（特别是显卡和内存）。如果在云端平台运行，则可能产生相应的计算资源费用。
3. 生成图片的角色一致性总能保证100%吗？
   该工具通过“潜在面板锚定”等技术极大地提升了角色一致性，效果远超普通文生图工具。但在非常复杂或剧烈变化的场景中，偶尔可能还是会出现微小的不一致。提供一个清晰、具体的 --subject 描述是保证一致性的关键。
4. 我需要具备编程知识才能使用它吗？
   你需要一些基本的命令行操作知识来完成安装和运行。整个过程包括克隆代码仓库、安装依赖库和执行Python脚本。但你不需要深入理解其背后的代码或算法，只需按照“使用帮助”中的步骤操作即可。
5. 生成一张分镜图大概需要多长时间？
   生成时间取决于你的硬件配置（主要是GPU性能）、图片分辨率和故事的复杂程度。在配置较好的消费级显卡上，生成一个包含4-5个画面的分镜脚本可能需要几分钟的时间。