来自苹果的研究人员发布论文探讨了视觉-语言模型（VLMs）在视觉推理任务上的表现，特别是针对一种名为雷文进阶矩阵（Raven's Progressive Matrices，简称RPMs）的智力测试。RPMs是一种经典的智力测试工具，它要求参与者通过观察一系列图形，找出完成图案所需的正确图形。这项研究旨在评估VLMs在仅依赖视觉线索进行多步关系和演绎推理方面的能力。
主要功能和特点：
- 视觉推理能力评估： 研究者们使用RPMs来测试VLMs在视觉推理方面的能力，这包括理解给定的图案、推导出潜在规则以及应用这些规则来选择正确的图案。
- 系统性评估： 论文提供了一个系统性的评估框架，用于在多个数据集（包括Mensa IQ测试、IntelligenceTest和RAVEN）上评估VLMs的性能。
- 标准策略应用： 研究者尝试将文本大型语言模型（LLMs）中有效的标准策略（如上下文学习、自我一致性）应用于VLMs，以探索其潜力。
工作原理：
- 感知（Perception）： VLMs首先需要理解RPMs中的每个给定图案，包括选择项。
- 演绎推理（Deductive Reasoning）： 然后，模型需要推导出解释这些图案演变的潜在规则。
- 假设验证（Hypothesis Verification）： 最后，模型需要运用学到的规则，从给定的选项中选择缺失的图案。
具体应用场景：
- 智力测试： VLMs可以用于辅助智力测试，帮助评估个体的视觉推理能力。
- 教育辅助： 在教育领域，VLMs可以作为教学工具，帮助学生理解和解决复杂的视觉推理问题。
- 认知科学研究： 通过与人类在视觉推理任务上的表现进行比较，VLMs可以用于研究人类认知过程。
研究结果表明，尽管VLMs在文本推理任务上表现出色，但在视觉推理方面，尤其是RPMs这类任务上，它们的表现还远远达不到人类水平。这揭示了VLMs在视觉感知和理解抽象图案方面的局限性。研究还发现，一些在LLMs中有效的策略在VLMs中并不总是有效，这表明在视觉推理任务中，VLMs的推理能力受到感知能力的制约。
0条评论