Google 研究和斯坦福大学的研究人员推出Streetscapes，即通过大规模一致性的街景生成技术，从少量图像中生成连贯的城市街景视图。这项技术可以用于从单一视频生成动态场景的三维重建和新视角合成。简单来说，就是利用几张街景图片和一些文本描述，计算机能够自动生成一段连续的、逼真的城市街道视频，展示出街道随着时间和天气变化的样子。
- 项目主页：https://boyangdeng.com/streetscapes
例如，你是一名城市规划师，需要评估一个城市设计方案在不同时间（如早晚高峰）和不同天气（如晴天、雨天）下的效果。使用“Streetscapes”技术，你可以输入一张街道的图片、一张地图和一些文本描述（如“北京，晴天，早晨”），系统就会自动生成一系列连续的视频帧，展示出在不同条件下街道的景象。这样，你就能够直观地看到设计方案在不同情境下的视觉效果，从而做出更准确的评估和调整。
主要功能和特点：
- 大规模街景生成：能够生成跨越多个城市街区的长序列街景视图。
- 文本控制：通过文本提示（如城市名称、天气条件），可以控制生成的街景风格和环境条件。
- 新视角合成：能够从新的视角渲染街景，即使这些视角在原始视频中并未直接捕捉到。
- 高效的训练过程：系统训练时间较短，能够在不到10分钟的时间内完成。
工作原理：
- 自回归视频扩散模型：利用视频扩散模型在自回归框架内生成视频序列，这种模型可以处理长序列数据。
- 时间插值方法：为了防止自回归方法在生成过程中偏离真实城市图像的分布，引入了一种新的时序插值方法。
- 数据驱动的先验：使用从谷歌街景等来源获取的图像数据，结合地图数据进行训练，使得生成的街景视图具有高度的真实性和一致性。
- 编码器-解码器框架：系统使用编码器将输入的街景图像编码成特征表示，然后通过解码器生成新的视图。
具体应用场景：
- 城市规划和设计：通过生成不同时间、不同天气条件下的街景，帮助规划师和设计师评估设计方案。
- 虚拟现实和增强现实：在VR和AR应用中，提供连续的街景视图，增强用户体验。
- 电影和游戏制作：用于生成电影或游戏中的城市背景，提供逼真的环境渲染。
- 教育和培训：在模拟训练中，生成不同条件下的城市环境，用于教育或紧急情况训练。
0条评论