来自香港科大、香港中文大学、 商汤科技和上海人工智能实验室的研究人员推出创新框架Interactive3D，它允许用户通过交互式操作来精确控制3D对象的生成过程。这个框架特别适用于那些需要高度个性化和定制化3D模型的场景。例如，你想要创建一个“骑在喷火龙上的黑暗骑士”的3D模型。使用Interactive3D，你可以先通过高斯溅射生成一个基础模型，然后通过交互式操作添加翅膀、调整翅膀大小，甚至为翅膀添加火焰效果。接着，进入第二阶段，将模型转换为更精细的InstantNGP结构，进行进一步的细节增强和几何细化，最终得到一个高质量的3D骑士和龙模型。
项目主页：https://interactive-3d.github.io
GitHub：https://github.com/interactive-3d/interactive3d
主要功能和特点：
- 两阶段生成过程：Interactive3D包含两个阶段。第一阶段使用高斯溅射（Gaussian Splatting）技术，允许用户通过添加或删除组件、变形拖拽、几何变换和语义编辑等方式与3D模型进行交互。第二阶段将高斯表示转换为InstantNGP结构，并引入了一个新的交互式哈希细化（Interactive Hash Refinement）模块，以进一步增强细节和提取几何结构。
- 精确的用户控制：用户可以直接指导生成过程，通过交互式操作来实现对3D模型的具体修改，比如添加翅膀、调整翅膀大小或者为翅膀添加燃烧的视觉效果。
- 高质量的3D输出：通过交互式优化，Interactive3D能够生成与用户期望相符的高质量3D对象，同时保持了3D模型的纹理和几何细节。
工作原理：
- 第一阶段（高斯溅射）：在这个阶段，3D对象被表示为一组高斯 blob，用户可以通过直接操作这些blob来修改模型，例如通过拖拽来改变形状或者通过语义编辑来改变模型的特定视觉效果。
- 第二阶段（InstantNGP细化）：在这个阶段，将第一阶段生成的高斯表示转换为InstantNGP结构，这有助于进一步细化3D模型的几何形状，并提取出更精细的网格（mesh）。
具体应用场景：
- 个性化3D打印：用户可以根据自己的需求定制3D打印模型，如设计独特的玩具或装饰品。
- 游戏和娱乐：在游戏开发或电影制作中，设计师可以通过Interactive3D快速原型化和细化角色和场景的3D模型。
- 教育和培训：在教育领域，学生可以通过交互式学习来更好地理解3D建模和设计的原理。
0条评论