香港大学和清华大学的研究人员推出新框架Part123，它能够从单视图图像中重建出具有结构意义的部分（part-aware）的3D模型。Part123利用了扩散模型（diffusion models）生成多视图一致的图像，并结合了Segment Anything Model（SAM），这是一个强大的通用图像分割模型，能够为任意对象生成多视图分割掩码。例如，如果我们要从一个动物的侧面照片创建一个3D模型，Part123不仅能够重建出整个动物的形状，还能够识别并分割出动物的不同部分，如头部、身体、四肢等，这对于进一步的动画制作或3D打印等应用是非常有帮助的。
主要功能和特点：
- 部分感知的3D重建：Part123能够从单张图片中重建出具有明确部分结构的3D模型，这对于许多下游应用（如形状建模、检索、纹理映射和动画制作）至关重要。
- 多视图一致性：通过使用扩散模型，Part123能够生成围绕目标对象的多视图图像，这些图像在视角上是一致的。
- 对比学习：Part123引入了对比学习来整合2D分割信息到3D重建中，这有助于处理多视图之间的不一致性，并学习基于多视图分割掩码的部分感知特征空间。
- 自动部分分割算法：Part123开发了一个基于聚类的算法，能够自动从重建的模型中推导出3D部分分割结果。
- 高质量的部分重建：与现有的非结构化重建方法相比，Part123生成的部分感知3D模型在保留特征、基础拟合和3D形状编辑等重要应用中具有优势。
工作原理：
Part123的工作流程如下：
- 多视图扩散：首先，使用扩散模型从给定的单视图图像生成一组多视图一致的图像。
- 2D分割：然后，利用SAM模型对这些多视图图像进行2D分割，生成分割掩码。
- 对比学习：在神经渲染框架中引入对比学习，通过优化多视图分割掩码的特征，学习部分感知特征空间。
- 自动部分分割：最后，开发了一个算法来自动确定部分的数量，并从重建的模型中提取部分分割。
具体应用场景：
- 形状建模：Part123可以用于从单视图图像创建具有明确部分结构的3D模型，这对于形状设计和建模非常有用。
- 形状检索：由于Part123能够生成具有结构信息的3D模型，这些模型可以用于改进形状检索系统，使其能够基于部分进行更精确的匹配。
- 纹理映射：在纹理映射中，Part123生成的部分感知3D模型可以用于更自然和准确的纹理应用。
- 动画制作：在动画领域，Part123可以帮助动画师更好地理解和操作3D模型的各个部分，从而制作更流畅和逼真的动画。
- 3D编辑：Part123还可以用于3D编辑任务，如形状变形、特征保持重建等，使得编辑过程更加直观和高效。
0条评论