Teton.ai和加州大学伯克利分校的研究团队推出新技术Toon3D，它能够将手绘的卡通和动漫图像转换成三维模型。这项技术特别适用于那些在创作过程中没有使用三维渲染引擎的卡通和动漫场景，因为这些场景的图像通常在不同的视角下会存在几何上的不一致性。开发者还提供了Toon3D Labeler和Toon3D Dataset，这是一个包含12个卡通场景（来自10个电视节目和1部电影）和78张标记图像的数据集。这些资源将被公开发布，以便研究社区可以访问和使用。
- 项目主页：https://toon3d.studio
- GitHub：https://github.com/ethanweber/toon3d
- Toon3D Labeler：https://labeler.toon3d.studio/
- Demo：https://huggingface.co/spaces/ethanweber/toon3d
主要功能：
Toon3D的主要功能是恢复非几何一致场景的底层三维结构。它通过一个用户友好的标注工具、相机姿态估计和图像变形来实现这一目标，最终输出一个密集的三维点云和变形后的图像，这些图像遵循透视相机模型。
主要特点：
-
用户友好的标注工具：Toon3D Labeler，它允许用户在没有安装的情况下在线标注图像中的点对应关系，同时还可以标注临时对象。 -
处理几何不一致性：Toon3D能够处理手绘图像中的几何不一致性，这些不一致性对于传统的结构从运动（Structure-from-Motion, SfM）管道来说是一个挑战。 -
三维重建：Toon3D不仅能够恢复相机姿态和三维结构，还能够将变形后的输入图像与新的视角合成重建方法相结合，从而实现从未绘制过的新视角下的卡通体验。
工作原理： Toon3D的工作流程包括以下几个主要步骤：
-
稀疏对齐：输入一组对应点，使用单目深度网络预测深度，将这些稀疏对应点在三维空间中进行反投影，以粗略估计相机的内外参数。 -
密集对齐：从稀疏对齐的相机配置开始，初始化一个三维网格，并变形其顶点，直到在三维对应点上实现接近完美的对齐。 -
高斯细化：使用密集对齐的点云初始化三维高斯Splatting，以实现比点云或网格更加身临其境的视觉效果。
具体应用场景：
-
卡通和动漫重建：Toon3D可以用于重建卡通和动漫场景，让艺术家和设计师能够从新视角观察和分析这些场景。 -
艺术创作辅助：Toon3D可以帮助艺术家通过三维模型来绘制新的视角，这对于创作新颖的卡通场景和角色非常有用。 -
教育和娱乐：Toon3D可以用于教育领域，帮助学生更好地理解三维空间和几何概念，同时也可以在娱乐行业中用于创造新的互动体验。
0条评论