生成视频的完整工作流程分为五步:
- 编写指令文件:在
./game_demo/instructions.txt
中输入明确指令(需包含角色+动作+场景三要素) - 运行MLLM推理:执行
python inference_MLLM.py --instruction "具体指令"
生成动作表示 - 视频解码:通过
python inference_Decoder.py
将中间表示转为视频文件 - 查看输出:生成结果保存在
./outputs
目录下 - 状态更新:角色状态变化会同步记录在
state.json
文件中
特别提示:
1. 指令越详细生成效果越精准(如”宗介在黄昏的海边开紫色古董车”)
2. 角色互动指令需指定双方关系(如”琪琪耐心教导帕祖控制扫帚”)
本答案来源于文章《AnimeGamer:用语言指令生成动漫视频和角色互动的开源工具》