腾讯XR视觉实验室和澳大利亚国立大学的研究人员推出创新系统Sketch2Scene，它能够根据用户的简单草图和文本提示，自动生成交互式的3D游戏场景。这就像是给一个会魔法的画家，只需要随手画几笔和简单描述，就能创造出一个栩栩如生的游戏世界。例如，你想要创造一个游戏场景，但你可能不是专业的3D建模师。有了Sketch2Scene，你只需要在纸上画一个草图，比如一条河和几座桥，然后告诉系统你想要的风格，比如“宝可梦式的城市地图”，系统就会自动为你生成一个3D场景。
- 项目主页：https://xrvisionlabs.github.io/Sketch2Scene
主要功能：
- 自动生成3D场景：根据用户的草图和文本描述，自动创建3D游戏场景。
- 交互式体验：生成的3D场景可以无缝集成到游戏开发环境中，并立即进行游戏测试。
主要特点：
- 用户友好的输入方式：使用手画草图和文本描述作为输入，非常自然和方便。
- 数据效率：解决了大规模3D场景训练数据不足的问题，通过使用预训练的2D去噪扩散模型来生成场景的2D图像。
- 高质量的输出：生成的3D场景质量高，与用户的设计意图紧密相符。
工作原理：
- 草图引导的2D等距图像生成：使用预训练的2D图像扩散模型，根据用户草图生成3D场景的2D等距视图。
- 视觉场景理解：对生成的2D图像进行语义分割，提取地形高度图、纹理分布图和前景对象布局。
- 程序化3D场景生成：将理解得到的场景参数输入到程序化内容生成引擎中，比如Unity或Unreal Engine，来创建3D场景。
具体应用场景：
- 游戏开发：游戏设计师可以使用Sketch2Scene快速生成游戏场景原型，加速开发流程。
- 电影和动画制作：用于快速构建虚拟环境，为电影或动画制作提供3D场景。
- 虚拟现实和增强现实：为VR和AR应用创建交互式的3D环境。
总的来说，Sketch2Scene是一个强大的工具，它通过结合深度学习和用户输入，极大地简化了3D场景的创建过程，让没有专业3D建模技能的用户也能轻松创造出复杂的3D世界。
0条评论