马克斯·普朗克信息学研究所，萨尔信息学校区、萨尔布吕肯视觉计算、交互和人工智能研究中心和弗莱堡大学的研究人员推出TEDRA，它可以让用户通过文本描述来编辑动态且逼真的3D角色模型。简单来说，TEDRA就是一个先进的“虚拟化妆师”，能够根据你提供的文本提示，比如“穿着卫衣的男人”，来改变3D角色的外观，同时保持角色的动作和表情的连贯性和逼真度。
- 项目主页：https://vcai.mpi-inf.mpg.de/projects/Tedra
例如，你是一名游戏设计师，需要为游戏角色快速更换不同的服装风格，但传统的3D建模方法既耗时又需要专业技能。有了TEDRA，你只需要输入相应的文本描述，比如“角色穿着一件皮夹克”，TEDRA就能自动将这个角色的服装更改为皮夹克，同时保持角色的自然动作和表情。
主要功能：
- 文本驱动的编辑：允许用户使用文本指令来改变3D角色的外观。
- 保持动态和空间连贯性：在编辑过程中，角色的动作和表情保持自然和连贯。
- 细节保留：即使是服装上的细小褶皱也能在编辑后得到保留。
主要特点：
- 个性化：TEDRA通过在真实角色的多视角视频帧上微调预训练的生成扩散模型，确保数字表示能够忠实捕捉真实人物的动态和动作。
- 两阶段处理：先训练一个可控的、高保真的数字副本，然后根据文本提示进行编辑。
- 技术先进：结合了神经体积场景表示和文本驱动的扩散模型，精确编辑动态数字角色。
工作原理：
- 预训练阶段：通过多视角视频训练一个可控的、高保真的数字角色模型。
- 个性化扩散模型：使用真实角色的各种帧来微调预训练的扩散模型，创建一个能够捕捉角色详细特征的个性化生成模型。
- 编辑过程：利用个性化的扩散模型，根据提供的文本提示进行编辑，通过一个模型基础的引导框架和个性化的得分蒸馏采样（PNA-SDS）来优化角色表示。
- 时间步退火策略：为确保编辑质量，使用时间步退火策略来逐渐降低噪声估计的影响，并实现高频编辑。
具体应用场景：
- 虚拟现实和增强现实：为VR和AR应用中的角色提供直观的外观编辑。
- 游戏开发：快速更换游戏角色的服装和风格，适应不同的游戏场景。
- 电影制作：对电影中的3D角色进行快速的视觉修改，以适应不同的剧情需要。
- 合成数据生成：生成具有多样性的合成数据，用于训练和其他应用。
TEDRA通过结合先进的文本到图像的扩散模型和3D角色表示，为3D角色编辑提供了一个既直观又强大的工具，使得用户能够轻松实现对3D角色外观的精确控制。
0条评论