特拉维夫大学、Adobe 研究中心、加拿大蒙特利尔大学的研究人员推出新型3D建模工具MagicClay，它结合了神经场（Neural Fields）和三角网格（Meshes）的混合表示方法，允许用户通过文本提示来雕塑和编辑3D模型。这种方法旨在解决现有3D生成技术在艺术创作中的局限性，特别是在需要精细控制和逐步迭代的场景中。MagicClay通过结合神经场和三角网格的优势，为3D建模提供了一种新的、直观且强大的工具，使得艺术家和设计师能够更加灵活地创作和编辑3D内容。
论文地址：https://arxiv.org/abs/2403.02460
主要功能：
MagicClay允许用户选择模型的特定区域，输入文本提示（如“带有恶魔角的头部”），然后该区域会自动根据文本提示进行修改，同时保持模型的其他部分不变。这使得用户能够进行连续的、基于文本的编辑操作。
主要特点：
- 混合表示： 结合了神经场的全局形状控制能力和三角网格的局部细节表现力。
- 文本驱动的雕塑： 用户可以通过简单的文本描述来指导模型的修改。
- 保持拓扑结构： 在编辑过程中，模型的拓扑结构（即连接方式）保持不变，这对于3D建模非常重要。
- 高效的渲染策略： 利用网格表示来高效地渲染SDF（Signed Distance Field），提高了渲染速度和分辨率。
工作原理： MagicClay的工作流程包括以下几个关键步骤：
- 初始化： 从一个现有的三角网格模型开始，用户选择要编辑的区域。
- 文本提示： 用户输入描述所需形状变化的文本提示。
- 形状优化： 系统使用Score Distillation Sampling（SDS）技术，结合文本提示，通过神经场来驱动网格的形状优化。
- 一致性保持： 在优化过程中，系统确保网格和SDF的渲染结果在视觉上保持一致。
- 网格拓扑更新： 根据SDF的变化，系统会动态地调整网格的拓扑结构，以适应新的形状。
具体应用场景：
- 3D艺术创作： 艺术家可以使用MagicClay来创作复杂的3D角色或场景，通过文本提示来添加或修改细节。
- 游戏开发： 游戏设计师可以利用这个工具快速迭代游戏中的角色和环境模型。
- 电影和动画制作： 在电影和动画制作中，MagicClay可以用来快速调整角色或场景的特定部分，以适应剧情需要。
0条评论