复旦大学、 阿里巴巴达摩院和湖畔实验室的研究人员推出新型图像编辑工具MVInpainter，它能够学习多视角下一致的图像修复技术，以连接二维（2D）图像编辑和三维（3D）场景编辑。简单来说，MVInpainter能够在多个视角的图像中，对缺失或需要编辑的部分进行智能填充和修复，使得编辑后的图像在不同视角下保持一致性。
- 项目主页：https://ewrfcas.github.io/MVInpainter
例如，你是一名电影后期制作人员，需要在电影场景中添加一个虚拟物体，比如一只飞翔的鸟。使用MVInpainter，你可以在不同角度的多个镜头中一致地添加这只鸟，确保它在所有镜头中看起来都是自然和一致的，而不需要手动调整每个镜头中的鸟的位置和大小。这样不仅节省了大量时间，还提高了最终效果的真实性。
主要功能和特点：
- 多视角一致性：MVInpainter能够确保在不同视角下的图像编辑结果保持一致，无论是对象的插入、移除还是替换。
- 无需相机姿态信息：与依赖精确相机位置的方法不同，MVInpainter不需要相机姿态信息即可进行训练和推理，这增加了其在各种场景下的适用性。
- 基于视频先验的运动组件：MVInpainter利用从视频中提取的运动信息来增强模型的预测能力，确保动态场景中的连贯性。
- 参考关键值注意力机制：通过将参考视图的特征与目标视图在自注意力模块中进行拼接，增强了外观的一致性。
工作原理：
- MVInpainter基于预训练的StableDiffusion（SD）图像修复模型构建，通过加入领域适配器和运动模块作为视频先验来实现多视角结构的一致性。
- 通过参考关键值（RefKV）机制，在自注意力模块中将参考视图的特征与目标视图进行空间拼接，以注入外观指导。
- 采用无相机姿态的流分组方法，使用未掩蔽区域的光流特征来控制相机运动，实现无相机姿态训练和推理。
- 在推理阶段，MVInpainter通过对象移除、掩蔽适应和对象插入等步骤，实现对多视角场景的编辑。
具体应用场景：
- 3D场景编辑：在3D建模和虚拟现实（VR）中，MVInpainter可以用来编辑和合成3D场景，例如添加或移除对象。
- 视频编辑：在视频制作中，MVInpainter可以用来填补缺失的视频帧或修复视频中的缺陷。
- 图像合成：在图像合成中，MVInpainter可以用来创建新的视角或合成多个图像，以构建一个一致的多视角场景。
0条评论