Meta推出一个名为Sapiens的模型家族，它们是专门为理解人类视觉任务而设计的一系列模型。Sapiens模型经过微调，能够执行四大类与人类相关的基本视觉任务：2D姿态估计、身体部位分割、深度估计和表面法线预测。这些模型原生支持高达1K分辨率的高分辨率推理，并且通过简单地微调预训练模型，就能轻松适应个别任务。
- 项目主页：https://about.meta.com/realitylabs/codecavatars/sapiens
例如，一个游戏开发者想要在游戏中创建一个能够实时反应玩家动作的虚拟角色，他们可以使用Sapiens模型来捕捉玩家的2D姿态，并将其转换为3D模型的动作，从而实现高度逼真的虚拟角色动画。或者在零售环境中，Sapiens可以帮助分析顾客在店内的行动路径和行为模式，以优化店铺布局和顾客体验。
主要功能：
- 2D姿态估计：确定图像中人体的各个关键点的位置。
- 身体部位分割：识别并分割图像中人体的不同部位。
- 深度估计：预测图像中各个点的深度信息。
- 表面法线预测：预测图像中表面法线的方向。
主要特点：
- 高分辨率支持：Sapiens模型支持高达1K分辨率的图像，提供高保真度的视觉输出。
- 易于适应性：通过微调预训练模型，可以轻松适应不同的视觉任务。
- 卓越的泛化能力：在各种自然场景下都能保持高性能，即使是在标注数据稀缺或完全合成的情况下。
工作原理：
- 自监督预训练：Sapiens模型使用超过3亿张野外人类图像进行预训练，利用掩码自编码器（MAE）方法学习通用视觉特征。
- 微调：在预训练完成后，针对特定的视觉任务（如2D姿态估计等）进行微调，以提高任务特定的性能。
- 高质量注释：为了确保模型能够精确地理解和生成人类视觉数据，使用多视角捕获设置来收集姿态和分割注释。
具体应用场景：
- 3D人体数字化：在3D建模和动画制作中，用于精确捕捉人体姿态和形态。
- 增强现实（AR）：在AR应用中，提供精确的人体姿态和部位信息，以实现更自然的虚拟对象与真实世界的交互。
- 虚拟现实（VR）：在VR环境中，用于实时追踪和渲染用户的身体动作。
- 人机交互（HCI）：在人机交互系统中，用于理解用户的身体语言和手势。
0条评论