宾夕法尼亚大学、苹果和香港大学的研究人员推出新框架GECO（Generative Image-to-3D within a SECOnd），它能够在大约0.35秒内，使用单个图像作为输入，在单个L40 GPU上生成高质量的3D模型。GECO的目标是简化3D资产的生成过程，使其更加高效和易于访问，同时保持生成结果的高质量。
例如，你是一名游戏设计师，需要快速生成一个虚拟角色的3D模型。使用GECO，你可以上传角色的概念图，系统将在不到一秒的时间内生成一个详细的3D模型，你可以对这个模型进行进一步的编辑和优化，从而加速游戏开发流程。
主要功能：
- 快速3D生成： GECO能够在不到一秒的时间内，从单张图片生成3D模型。
- 高效率与高质量并存： 该框架在保持生成质量的同时，显著提高了3D资产生成的速度。
主要特点：
- 两阶段方法： GECO采用两阶段方法，首先通过单步多视图生成模型进行训练，然后应用第二阶段的蒸馏来解决多视图预测中的视图一致性问题。
- 无需迭代优化： 与传统的分数蒸馏方法不同，GECO不需要对每个场景进行长时间的优化。
- 处理不确定性： GECO通过多视图图像生成阶段来处理单张图像到3D预测的不确定性问题。
工作原理：
- 第一阶段： 使用变分分数蒸馏（VSD）从预训练的多视图扩散模型中直接学习单步多视图生成器。
- 第二阶段： 通过联合微调第一阶段的单步多视图扩散模型和预训练的重建方法（如LGM），使用多步扩散模型和预训练的LGM模型生成的伪真实图像来训练第二阶段模型。
具体应用场景：
- 电影和游戏制作： 在电影和数字游戏领域，GECO可以快速生成3D资产，加速场景和角色的建模过程。
- 虚拟现实和增强现实： 在VR和AR应用中，GECO能够快速生成或重建3D环境和对象，提供更加丰富和逼真的用户体验。
- 机器人视觉： 在机器人领域，GECO可以用于快速重建周围环境的3D模型，帮助机器人更好地理解其工作空间。
- 教育和培训： GECO可以用于教育领域，帮助学生快速创建3D模型，学习3D建模和设计。
0条评论