同济大学、上海人工智能实验室、密歇根大学、香港中文大学和CPII的研究人员推出Urban Architect，它能够根据文本描述和3D布局信息生成可控制的3D城市场景。例如，如果你是一个城市规划师，你可以通过简单的文本描述和一些基本的3D布局元素（比如建筑物、道路和汽车的简化模型）来创建一个详细的城市模型，并且可以随意编辑和修改这个模型，这就是Urban Architect所做的事情。
主要功能和特点：
- 大规模城市场景创建： Urban Architect能够生成覆盖超过1000米驾驶距离的大型城市场景。
- 高质量渲染： 生成的场景能够进行逼真的渲染，并且遵循几何一致性。
- 可控制的创作过程： 支持通过微调生成的场景来实现各种场景编辑效果，如风格编辑和对象操控。
工作原理：
- 3D布局表示： Urban Architect使用3D布局作为额外的先验信息，这些布局由一些简单的几何结构（如长方体、椭球体和平面）组成，它们代表了城市场景中的不同元素。
- 布局引导的变分分数蒸馏（LG-VSD）： 这是一种新的优化方法，它结合了文本描述和3D布局的几何和语义约束，通过优雅的公式扩展到条件模型中。
- 可扩展的哈希网格结构（SHG）： 为了处理城市场景的无限性，它使用SHG结构来表示3D场景，这种结构能够随着城市规模的增长而自适应地更新。
- 场景编辑： 利用3D布局表示的灵活性和文本描述的风格控制能力，支持进行各种场景编辑，包括实例级编辑和风格编辑。
具体应用场景：
- 自动驾驶模拟： 可以创建逼真的城市环境用于自动驾驶系统的模拟和测试。
- 虚拟现实和游戏开发： 提供了一个工具来创建丰富和详细的虚拟城市环境，增强用户体验。
- 城市规划和设计： 城市规划师可以使用这个工具来设计和预览城市布局和建筑方案。
总的来说，Urban Architect是一个强大的工具，它结合了文本描述和3D布局信息，提供了一个生成、编辑和控制大规模3D城市场景的有效方法。
0条评论