Meta推出数据集Aria Everyday Activities (AEA) ，这是一个以第一人称视角记录的多模态开放数据集，通过Project Aria眼镜收集。AEA数据集包含了多个佩戴者在五个不同地理位置的室内环境中记录的143个日常活动序列。每个记录都包含了通过Project Aria眼镜收集的多模态传感器数据，此外，还提供了机器感知数据，包括高频全局对齐的3D轨迹、场景点云、每帧的3D注视向量和与时间对齐的语音转录。论文中展示了一些由这个数据集支持的研究应用示例，包括神经场景重建和提示分割。AEA是一个开源数据集，可以从projectaria.com下载。同时，还提供了开源的Project Aria工具和示例，展示如何使用这个数据集。
地址：https://www.projectaria.com/datasets/aea
论文地址：https://arxiv.org/abs/2402.13349
主要功能：
- 提供丰富的多模态传感器数据，用于研究和开发个性化和情境化的人工智能助手。
- 支持机器感知服务，提供高精度的3D位置数据、注视追踪和语音转录。
- 促进了神经场景重建和提示分割等研究应用的发展。
主要特点：
- 4D数据集，包含空间-时间对齐的多日活动记录。
- 提供了高精度的6自由度（6DoF）轨迹和半密集点云，用于3D环境重建。
- 包含了与时间对齐的语音转录，有助于理解佩戴者的意图。
- 数据集是开源的，可以方便地下载和使用。
工作原理：
- 使用Project Aria眼镜收集第一人称视角的视频、音频和其他传感器数据。
- 通过机器感知服务（MPS）处理原始数据，生成高精度的3D轨迹和注视数据。
- 提供了时间同步的多设备记录，确保不同观察结果在空间和时间上的准确对齐。
具体应用场景：
- 用于开发和测试个性化的人工智能助手，这些助手可以理解用户的上下文和意图。
- 在增强现实（AR）和虚拟现实（VR）应用中，用于创建沉浸式、逼真的虚拟记忆场景重建。
- 在自动驾驶和机器人导航研究中，用于理解和预测人类行为。
- 在多模态学习和计算机视觉研究中，用于提高模型对复杂场景和动态对象的理解能力。
总的来说，AEA数据集为研究人员提供了一个丰富的资源，用于探索和开发能够理解和响应用户日常活动的人工智能技术。
0条评论