英伟达、多伦多大学、剑桥大学、麻省理工学院和 南洋理工大学的研究人员推出新技术L4GM（Large 4D Gaussian Reconstruction Model），它能够在一秒钟内从单一视角的视频输入生成动态的3D对象动画。这就像是给视频中的物体赋予了“生命”，让它们能够在虚拟世界中动起来。这项技术的出现极大地简化了3D动画的制作过程，为动画师和游戏开发者提供了一个强大的工具。
- 项目主页：https://research.nvidia.com/labs/toronto-ai/l4gm
例如，你手里有一段录制的跳舞视频，但你想要的不仅仅是平面的视频，而是一个立体、可以多角度观看的3D动画。L4GM就能做到这一点，它可以把视频中的舞者变成一个3D模型，并且保持其舞蹈动作的连贯性，让你能够从不同的角度去观看这场舞蹈。
主要功能：
- 从单视图视频快速生成3D动画对象。
主要特点：
- 快速生成： 只需一秒钟即可生成动画。
- 高质量： 生成的3D动画质量高，具有很好的视觉连贯性。
- 大规模数据集： 利用了一个包含12M视频的大型数据集进行训练。
工作原理：
- L4GM基于一个预训练的3D重建模型LGM，该模型能够从多视角图像中输出3D高斯椭圆体。
- 它通过在LGM的基础上增加时间自注意力层，来学习跨时间的一致性3D表示。
- 通过训练一个插值模型上采样表示，以实现时间上的平滑性。
具体应用场景：
- 视频游戏： 快速生成游戏内角色和物体的3D动画。
- 电影制作： 将实拍视频转换为3D动画，用于特效制作。
- 虚拟现实： 为VR体验创建动态的3D环境和角色。
0条评论