卡内基·梅隆大学的研究人员推出StyleSplat，这是一种将艺术风格应用到3D场景中的方法，使得3D模型能够呈现出不同的艺术效果。它能够将你选择的艺术风格应用到3D场景中的特定对象上，而不影响场景中的其他部分。例如，你正在制作一个关于森林的场景，你想让森林中的树木看起来像是用油画风格绘制的，而地面则保持现实主义风格。使用StyleSplat，你可以首先选择一个油画风格的参考图像，然后指定森林中的树木作为风格迁移的对象。StyleSplat会分析这些树木的3D模型，并应用油画风格，同时保持地面的原始外观。最终，你将得到一个既有油画风格的树木又有现实主义风格的地面的3D场景。
- 项目主页：https://bernard0047.github.io/stylesplat
主要功能
- 3D对象风格迁移：能够将选定的艺术风格应用到3D场景中的特定对象上。
- 多对象风格化：可以同时对场景中的多个对象应用不同的风格。
- 快速定制：允许用户快速地尝试和定制3D场景的风格。
主要特点
- 轻量级：StyleSplat是一种轻量级的方法，能够在较短的时间内完成风格迁移。
- 可定制性：用户可以控制风格迁移的具体对象和风格，实现高度的个性化。
- 局部化风格化：能够精确地对场景中的特定对象进行风格迁移，而不影响其他对象。
工作原理
StyleSplat的工作流程包括以下三个步骤：
- 2D掩码生成和对象跟踪：使用现成的图像分割和跟踪模型来获取整个场景的一致性2D掩码，这些掩码将用于后续的3D高斯分割。
- 3D高斯训练和分割：利用多视图图像学习3D高斯的几何和颜色，同时学习每个高斯的特征向量，这些特征向量将用于将高斯分割成不同的对象。
- 3D风格迁移：使用最近邻特征匹配损失（NNFM）来微调选定的高斯，通过将它们的球谐系数与提供的风格图像对齐，实现风格一致性和视觉吸引力。
具体应用场景
- 游戏开发：在游戏中为角色或环境元素添加不同的艺术风格，增强视觉体验。
- 虚拟现实：为虚拟现实场景提供多样化的视觉风格，提升沉浸感。
- 数字艺术创作：艺术家可以使用StyleSplat来探索不同的艺术风格，创作独特的数字艺术作品。
- 电影和动画制作：在电影或动画的后期制作中，为3D模型添加特定的风格，以符合整体的视觉调性。
0条评论