Go-with-the-Flow通过独特的噪声扭曲技术和视频扩散模型实现跨视频的运动模式转移,主要包含以下关键步骤:
- 准备目标视频:选择要应用新运动模式的视频素材,将其路径或URL作为输入
- 生成扭曲噪声:运行
make_warped_noise.py
脚本处理视频,该脚本会分析原始视频的运动特征并生成对应的扭曲噪声。
基本命令格式:python make_warped_noise.py <视频路径> --output_folder noise_warp_output_folder
- 推理应用:使用
cut_and_drag_inference.py
脚本将扭曲噪声应用到新视频中。
典型命令包含输出路径、提示词(如”A duck splashing”)、设备选择(cuda)和迭代次数等参数 - 参数调整:可以通过修改提示词、调整超参数(如num_inference_steps)等方式精细控制运动特征迁移的效果
整个过程的核心在于:
- 利用扭曲噪声而非传统高斯噪声来保留运动特征
- 通过视频扩散模型的微调能力保持视频结构一致性
- GPU加速确保处理效率
这种方法不仅能复制运动,还能根据提示词创造性地调整运动效果。
本答案来源于文章《Go-with-the-Flow:控制视频中物体的运动轨迹,视频中增减任何运动物体》