上海大学、上海交通大学、复旦大学和腾讯优图实验室的研究人员推出创新系统ClotheDreamer，它能够根据文本提示生成高保真的3D服装资产。你只需要用文字描述你想要的衣服样式，比如“一件银色的蓬松夹克和相配的裤子”，ClotheDreamer就能在虚拟空间中创造出这件衣服，甚至还能模拟衣服的穿着效果和动画。如果你是一名游戏开发者，需要为角色设计多种服装，你可以使用ClotheDreamer通过文本描述来生成各种风格的3D服装，然后在游戏中实现角色的换装和动画效果。这不仅提高了设计效率，还能让角色的服装更加多样化和真实。
- 项目主页：https://ggxxii.github.io/clothedreamer
主要功能：
- 从文本描述生成可穿戴的3D服装模型。
- 支持物理上精确的动画模拟。
主要特点：
- 3D高斯表示法：ClotheDreamer使用一种基于3D高斯的方法来表示和生成服装，这种方法结合了网格和NeRF（神经辐射场）的优势。
- 分离式优化：通过一种新颖的表示方法，称为Disentangled Clothe Gaussian Splatting（DCGS），将服装与人体模型分开优化，提高了服装的可重用性和多样性。
- 双向SDS指导：使用Score Distillation Sampling（SDS）从正反两个方向对服装和人体模型的RGBD渲染进行监督，提高了生成质量。
- 新修剪策略：为宽松服装提出了一种新的修剪策略，以保持服装的完整性。
工作原理：
- 初始化：利用SMPLX模型的语义ID分类作为起点，初始化服装的3D高斯表示。
- 优化：通过双向SDS指导对服装和人体模型的渲染进行优化，同时应用新提出的修剪策略来处理宽松服装的细节。
- 动画：使用模拟的网格序列来驱动DCGS服装资产的动画，实现逼真的动态效果。
具体应用场景：
- 虚拟试穿：用户可以在虚拟环境中试穿由ClotheDreamer生成的服装。
- 时尚设计：设计师可以使用这个系统来快速原型化和可视化他们的设计概念。
- 游戏和电影制作：在游戏或电影的制作中，快速生成服装模型并进行动画制作。
0条评论