厦门大学信息学院和腾讯人工智能实验室的研究人员推出一种新型的树状搜索算法——LiteSearch，它是为了提高大语言模型（LLMs）在复杂数学推理任务上的性能而设计的。在以往的研究中，树状搜索算法（例如蒙特卡洛树搜索，MCTS）已被证明可以显著提升LLMs的性能，但这些算法常常因为搜索策略上的浪费而需要超过贪婪解码10倍以上的计算资源，这使得它们在实际应用中难以部署。
例如，我们有一个数学问题，需要通过一系列逻辑步骤来解决。使用LiteSearch算法，我们可以将问题分解为多个子问题或推理步骤，然后通过LLM生成可能的解决方案。LiteSearch算法会动态地选择最有希望的路径进行扩展，同时控制计算资源的分配，以最小化计算成本并找到正确的答案。例如，在解决一个涉及多步骤计算的数学问题时，LiteSearch能够有效地导航搜索空间，避免探索那些不太可能导致正确答案的路径。
主要功能：
- 提高LLMs在数学推理任务上的性能：通过树状搜索算法来增强LLMs的推理能力。
- 降低计算成本：LiteSearch算法通过动态节点选择和节点级别的探索预算计算，有效减少计算资源的消耗。
主要特点：
- 动态节点选择：算法根据搜索进度和价值网络的指导，选择最有希望的树节点进行扩展。
- 节点级别探索预算：为每个节点动态计算探索预算，平衡探索与利用，提高搜索效率。
- 无需步骤级注释：价值网络的训练不需要步骤级的注释，简化了训练过程。
工作原理：
- 初始化搜索树：以问题作为根节点，其他节点代表由LLM生成的推理步骤。
- 迭代选择与扩展：在每次迭代中，首先选择最有希望的节点，然后在分配的计算预算内扩展该节点。
- 价值网络指导：使用一个价值网络来评估状态的期望累积奖励，并指导搜索过程。
- 动态预算分配：根据节点的价值分数和深度动态调整每个节点的探索预算。
- 终止条件：当生成的答案达到预期的价值阈值或迭代次数达到上限时，算法终止。
具体应用场景：
- 数学问题解决：适用于需要多步骤推理解决的数学问题，如学校数学考试中的问题。
- 自动化推理：可以集成到教育软件或智能辅导系统中，提高自动解题的准确性和效率。
- 研究与开发：在需要复杂推理的领域，如科学研究或技术开发中，辅助进行逻辑推理和问题解决。
0条评论