加州大学伯克利分校和麻省理工学院的研究人员推出基准测试“MOCHI”，旨在评估人类观察者和计算机视觉模型在三维形状推断任务上的一致性。这个任务要求参与者从三个不同视角的图像中识别出哪个图像显示的对象是不同的。研究者们通过这个任务来比较人类的表现和多种计算机视觉模型的表现。
- GitHub：https://github.com/tzler/mochi_code
例如，你有三张从不同角度拍摄的椅子的照片，你的任务是找出哪张椅子与其他两张不同。这听起来可能很简单，但如果椅子的视角变化很大，这个任务就会变得相当具有挑战性。MOCHI基准测试就是基于这样的任务设计的，它不仅测试人类参与者的表现，还测试了多个计算机视觉模型的表现。
主要功能：
- 比较人类与计算机视觉模型：通过一个特定的三维形状推断任务，比较人类和计算机视觉模型在识别不同视角下物体的能力。
- 多尺度评估方法：使用多种评估指标来分析模型和人类的表现，包括准确率、反应时间、注视数据等。
主要特点：
- 零样本学习：测试模型在没有针对特定环境进行微调的情况下的表现。
- 多视角图像：使用从不同视角拍摄的图像来增加任务的难度。
- 大规模人类数据：收集了超过500名参与者的35,000次试验数据，包括选择行为、反应时间和注视数据。
工作原理：
- 数据收集：构建了2000多套独特的图像集，并通过在线和实验室研究收集了人类参与者的行为数据。
- 模型评估：评估了多种计算机视觉模型（如DINOv2、MAE、CLIP）在这些图像集上的表现。
- 多尺度分析：不仅比较了人类和模型的平均表现，还分析了反应时间和注视数据等中间度量，以了解模型和人类处理困难任务的方式。
具体应用场景：
- 认知科学研究：帮助研究人员理解人类如何理解和推断三维空间中的物体。
- 计算机视觉发展：为计算机视觉模型提供基准测试，推动模型在三维物体识别方面的发展。
- 机器人视觉：提高机器人在复杂环境中识别和操作物体的能力。
总的来说，MOCHI基准测试通过比较人类和计算机视觉模型在三维形状推断任务上的表现，为理解人类视觉能力和改进计算机视觉模型提供了有价值的见解。
0条评论