牛津大学的研究人员推出交互式视频生成模型Puppet-Master，它可以作为一个运动先验来捕捉物体部分级别的动力学。简单来说，Puppet-Master能够根据单个图像和一组稀疏的运动轨迹（即拖动操作），合成一段展示逼真物体部分运动的视频。这就像是有一个虚拟的木偶大师，通过几个简单的手势指令，就能够控制视频中物体各部分的运动。
- 项目主页：https://vgg-puppetmaster.github.io
- GitHub：https://github.com/RuiningLi/puppet-master
例如，你手里有一张静态图片，比如一张椅子的图片，你想要让这张椅子在视频中动起来。使用Puppet-Master，你只需要在图片上指定一些点（比如椅子的边缘），然后告诉系统你想让这些点如何移动（比如向上移动或向外展开）。Puppet-Master就会根据你的指令，生成一段视频，展示椅子按照你的要求动起来的过程。
主要功能：
- 部分级别动力学的视频合成：能够根据给定的拖动交互生成逼真的物体部分运动视频。
主要特点：
- 高度逼真的运动：生成的视频能够忠实地反映物体在受到拖动时的运动方式。
- 通用性：能够泛化到真实图像的各种类别，并且在零样本（zero-shot）情况下在真实世界基准测试中表现优于现有方法。
- 新的条件架构：提出了一种新的条件架构，通过注入拖动控制来有效改善生成质量。
工作原理：
- 预训练视频扩散模型：Puppet-Master基于大规模预训练的视频扩散模型，通过微调来实现对部分级别动力学的捕捉。
- 注入拖动控制：通过提出的新条件模块，将拖动操作有效地注入到视频生成流程中。
- 全到第一的注意力机制：通过引入全到第一的注意力机制，显著改善了生成质量，解决了现有模型中的一些外观和背景问题。
具体应用场景：
- 虚拟现实和增强现实：在虚拟或增强现实环境中，根据用户交互生成动态物体。
- 动画和游戏开发：快速生成动画序列或游戏内物体的运动效果，减少传统动画制作的工作量。
- 模拟和训练：在模拟环境中生成逼真的物体运动，用于机器人学习或人类操作训练。
论文还提到了Puppet-Master是如何通过学习Objaverse-Animation-HQ数据集来实现对部分级别运动的捕捉，以及如何通过数据筛选和增强合成渲染来提高模型性能。此外，论文还提供了项目页面，供读者查看更多结果和信息。
0条评论