Niantic和牛津大学的研究人员发布关于如何从一组图像中估计相机参数的论文，特别是在没有预先设定的相机姿态（即“未摆好姿势”的图像）的情况下。这个过程被称为结构从运动（Structure-from-Motion，简称SfM），是计算机视觉中的一个基础任务，它允许我们从2D图像中恢复出3D场景的结构。
例如，你是一名建筑师，需要从你拍摄的一系列建筑照片重建出建筑的3D模型。使用ACE0，你可以将这些照片输入系统，即使照片是随机拍摄的，没有特定的顺序或姿态，ACE0也能够处理这些图像，快速为你提供一个3D模型。这个过程不需要人工干预，也不需要事先知道相机的具体参数，大大简化了3D重建的工作流程。
主要功能和特点：
- 增量式学习方法：论文提出了一种新的SfM方法，称为ACE0（ACE Zero），它通过增量式学习来逐步构建场景的3D表示，并估计相机的姿态。
- 无需特征匹配：与基于局部特征匹配的传统SfM方法不同，ACE0采用了基于学习的方法，直接从图像到场景坐标的回归（scene coordinate regression），这意味着它不需要计算图像之间的匹配特征点。
- 高效优化：ACE0能够在没有相机姿态先验的情况下，高效地处理数千张图像，并且优化过程迅速。
- 自我监督训练：ACE0能够在没有任何姿态信息的情况下，通过自我监督的方式进行训练，这使得它在实际应用中更加灵活和强大。
工作原理：
- 视觉重定位器：ACE0将SfM问题重新解释为迭代应用和细化视觉重定位器的问题。视觉重定位器的任务是将新的视图（图像）注册到当前的重建状态中。
- 神经网络编码：ACE0使用一个轻量级的神经网络来编码场景，而不是传统的3D点云和高维描述符。
- 迭代优化：通过迭代地训练场景模型并注册新视图，ACE0逐步构建起场景的3D表示，并估计相机的姿态。
- 自我监督：ACE0从单张图像和单位姿态（即没有变换的姿态）开始训练，然后交替进行学习地图和注册新视图。
具体应用场景：
- 大规模场景重建：ACE0可以用于从大量互联网图片中恢复出大规模场景的3D结构。
- 虚拟现实和增强现实：在VR和AR应用中，ACE0可以帮助快速重建真实世界的3D场景，为用户提供更加丰富的交互体验。
- 机器人导航：在机器人导航或自动驾驶车辆中，ACE0可以用来实时估计相机的姿态，从而帮助机器人或车辆更好地理解其所处的环境。
0条评论