来自布里斯托大学、谷歌和英伟达的研究人员推出Tactile-Informed 3DGS，它结合了视觉数据和触觉传感信息，用于重建复杂表面的3D模型并进行新视角的合成。这项技术特别适用于处理具有光泽和反射性的表面，因为传统的3D重建方法在处理这类表面时往往会遇到困难。例如，想象一个考古学家正在研究一件古老的金属制品，他们可以使用配备触觉传感器的机器人手臂来触摸这件物品，并从多个角度拍摄照片。然后，使用Tactile-Informed 3DGS技术，他们可以快速重建出这件金属制品的3D模型，并从任意新视角生成图像，以便更详细地研究其结构和装饰细节。这种方法不仅可以提供比传统3D扫描更准确的结果，还可以在物品无法被完全触摸的情况下提供有用的补充信息。
主要功能和特点：
- 触觉信息融合：通过结合触觉传感器获取的局部深度信息，提高了对物体表面的重建精度。
- 优化3D高斯溅射：利用3D高斯溅射（3DGS）框架，优化3D高斯体素以更准确地模拟接触点处的物体几何形状。
- 处理非朗伯表面：触觉信息的加入使得系统能够更好地处理光泽和反射性表面，这些表面对于基于视觉的重建方法来说是一个挑战。
工作原理： Tactile-Informed 3DGS的工作流程包括两个主要阶段：
- 初始点云生成：使用结构光运动（SfM）技术从多视角图像中生成初始点云，并结合触觉传感器获取的局部深度信息。
- 高斯优化和正则化：通过优化过程调整3D高斯的参数，包括均值向量、协方差矩阵、不透明度和颜色向量，以最小化预测图像和真实图像之间的光度损失。此外，引入了3D透射率损失来正则化触觉位置附近的高斯体素，以及使用基于边缘的平滑损失来进一步提升重建质量。
具体应用场景：
- 机器人抓取：在机器人抓取物体时，可以使用触觉传感器获取物体表面的信息，帮助机器人更准确地理解物体的形状和质地，从而提高抓取的成功率。
- 虚拟现实和增强现实：在VR/AR应用中，通过结合视觉和触觉信息，可以创建更真实的3D交互体验，使用户能够从不同角度探索和感知虚拟物体。
- 3D建模和打印：对于需要高精度3D扫描和建模的应用，如文物保护或产品原型设计，Tactile-Informed 3DGS能够提供更高质量的3D重建结果。
0条评论