牛津大学和卡内基 梅隆大学的研究人员推出DreamHOI，它是一种用于生成3D人类与物体互动场景的方法。这种方法能够根据文本描述，让一个3D人体模型与任何给定的物体进行逼真的互动。例如，你是一位电影导演，需要在电影中创建一个场景，其中演员需要与某个特定的物体进行互动，比如坐在椅子上或举起一个重物。传统的3D建模方法可能需要花费大量时间来手动调整演员的姿势。而DreamHOI能够自动根据你提供的文本描述（比如“坐在椅子上”）和3D物体模型（椅子），生成一个逼真的3D场景，其中包含了正确姿势的演员模型。
- 项目主页：https://dreamhoi.github.io
- GitHub：https://github.com/hanwenzhu/dreamhoi
主要功能：
- 文本驱动的3D互动生成： 根据文本描述自动生成3D人类与物体的互动姿势。
- 零样本学习： 无需针对特定物体或互动类型的训练数据，即可生成互动场景。
主要特点：
- 双表示法： 结合了隐式的神经辐射场（NeRF）和显式的骨架驱动网格表示，以优化人体模型的姿势。
- 引导混合： 利用多视图和单视图文本到图像扩散模型的指导，结合它们的优势。
- 正则化项： 引入了正则化项以确保生成的人类模型大小适当且场景渲染一致。
工作原理： DreamHOI首先使用文本到图像的扩散模型作为“评论家”，提供图像空间的梯度，指示如何修改图像以更好地符合给定的文本提示。然后，它通过优化一个3D人体模型的姿势参数来实现这一目标。为了克服直接优化复杂姿势参数的困难，DreamHOI采用了一个双重表示法，将隐式的NeRF与显式的骨架驱动网格结合起来。在优化过程中，它会在这两种表示之间转换，以确保角色的身份得到保留，同时细化网格姿势。
具体应用场景：
- 电影和视频游戏制作： 快速生成与特定物体互动的3D角色，提高视觉效果制作效率。
- 产品广告： 展示产品如何在实际使用中与用户互动，增强广告的吸引力。
- 虚拟现实和增强现实： 创建逼真的3D环境，用户可以在其中与虚拟对象自然互动。
总的来说，DreamHOI提供了一种创新的方法，可以在不需要大量训练数据的情况下，根据文本描述生成逼真的3D人类与物体互动场景，这对于3D内容创作和虚拟现实应用等领域具有重要意义。
0条评论