香港中文大学、北京大学、上海人工智能实验室和甲骨文公司的研究人员推出新型多模态大语言模型的调优范式MAVIS，专门针对数学视觉问题解决能力的提升。MAVIS通过利用大型语言模型和代码能力，合成了大量的抽象图像和视觉推理指令，以提高模型在数学问题上的表现。
- GitHub：https://github.com/ZrrSkywalker/MAVIS
- 数据地址：https://huggingface.co/datasets/MAVIS-MATH/MAVIS-Caption
例如，你有一个复杂的数学问题，需要根据图表数据来解决。使用MAVIS训练的模型能够准确地理解图表中的视觉元素，如几何图形的尺寸和位置，然后结合问题描述，生成详细的解题步骤和最终答案。例如，如果图表展示了一个复杂的几何图形，MAVIS可以帮助识别图形中的特定部分，计算面积或周长，并提供解题的完整逻辑链。这使得MAVIS在处理视觉数学问题时，不仅能够提供正确答案，还能够展示其推理过程。
主要功能：
- 数学视觉数据集创建：MAVIS包含两个数据集，MAVIS-Caption和MAVIS-Instruct，涵盖了平面几何、解析几何和函数等多个数学领域。
- 视觉编码器的调优：通过对比学习细化一个针对数学图表的视觉编码器（CLIPMath），以改善对数学图表的视觉编码。
- 视觉-语言对齐：使用MAVIS-Caption数据集，通过一个投影层将CLIP-Math与大型语言模型（LLM）对齐，增强数学领域的视觉-语言对齐。
- 数学推理技能训练：使用MAVIS-Instruct数据集，包含详细的解题过程，训练MLLM进行健壮的数学推理。
主要特点：
- 针对性训练：MAVIS专门针对MLLM在数学视觉问题上的能力进行训练。
- 大规模数据集：提供了大规模、高质量的数学视觉数据集，用于模型训练。
- 逐步训练流程：通过三个阶段的逐步训练，从视觉编码器的调优到数学推理技能的培养。
工作原理：
- 数据集创建：使用精细设计的数据引擎自动生成数学图表及其描述和问题-答案对。
- 对比学习：通过对比学习对CLIP-Math进行调优，使其更好地捕捉数学图表中的关键信息。
- 跨模态对齐：通过投影层将改进的视觉编码器与语言模型对齐，提高模型对数学语言的理解。
- 指令调优：利用MAVIS-Instruct数据集中的问题和详细的解题过程，对模型进行指令调优，增强其数学推理能力。
具体应用场景：
- 数学教育辅助：MAVIS可以帮助教育工作者设计互动式的数学学习工具，提供视觉辅助和解题指导。
- 自动解题系统：在在线教育平台或智能辅导软件中，MAVIS可以作为自动解题和提供解题步骤的后端模型。
- 数学竞赛训练：为准备数学竞赛的学生提供高难度的视觉数学问题和解决方案。
0条评论