来自清华大学、伊利诺伊大学香槟分校、美国东北大学、ModelBest、中国人民大学、北京邮电大学和腾讯的研究人员推出新型大语言模型（LLM）套件EURUS，它专门针对推理任务进行了优化。这些模型在数学、代码生成和逻辑推理等多个复杂推理基准测试中取得了优异的表现，尤其是在LeetCode和TheoremQA这两个具有挑战性的基准测试中，其性能显著优于现有的开源模型。
GitHub：https://github.com/OpenBMB/Eurus
模型：https://huggingface.co/collections/openbmb/eurus-660bc40bec5376b3adc9d1c5
例如，如果一个学生需要解决一个复杂的数学问题，他们可以向EURUS模型提问。模型将分析问题，生成一个推理链，并提供详细的解题步骤。在编程场景中，开发者可以利用EURUS来生成代码片段或完整的程序，以解决特定的编程难题。此外，EURUS还可以在需要逻辑推理的场景中，如法律分析或策略规划中，提供基于逻辑的决策支持。
主要功能和特点：
- 卓越的推理能力： EURUS模型在解决需要复杂规划、推理、工具集成以及与环境和用户交互学习的问题方面表现出色。
- 偏好树数据结构： 论文提出了ULTRAINTERACT数据集，它包含了以偏好树形式组织的多样化推理链、多轮交互轨迹和成对数据，有助于模型进行偏好学习。
- 新颖的奖励建模目标： 论文提出了一种新的奖励建模目标，用于增强Bradley-Terry客观标准，特别鼓励训练模型提高选定解决方案的绝对奖励，并降低被拒绝数据的奖励。
工作原理：
- 数据驱动的优化： EURUS模型通过使用ULTRAINTERACT数据集进行监督式微调和偏好学习来提高其推理能力。
- 偏好学习： 利用ULTRAINTERACT中的成对正确和错误行动数据，模型可以通过比较和学习来提高其选择正确解决方案的能力。
- 奖励建模： 通过新的奖励建模目标，模型学习在推理任务中更好地评估和选择最佳行动方案。
具体应用场景：
- 教育辅助： EURUS可以作为教育工具，帮助学生解决数学问题、编写代码或进行逻辑推理。
- 编程竞赛： 在编程竞赛或编码挑战中，EURUS可以提供高质量的代码生成和问题解决方案。
- 逻辑推理任务： EURUS可以应用于需要多步骤推理和逻辑分析的任务，例如解决复杂的谜题或游戏。
0条评论