清华大学创新研究院、上海人工智能实验室和上海启智研究院的研究人员推出DoT框架，它是一种新型大语言模型推理框架。DoT通过构建一个有向无环图（DAG）来模拟迭代推理过程，这种结构比传统的线性或树形结构更能捕捉人类推理的复杂性。
- GitHub：https://github.com/diagram-of-thought/diagram-of-thought
例如，你是一个大型语言模型，需要回答一个复杂的问题，比如“哪个更大，9.11还是9.8？”使用DoT，你可以首先提出一个命题（比如“9.11大于9.8”），然后作为批评者，你可能会发现自己犯了一个错误，因为9.11实际上小于9.8。然后，你作为提议者改进你的命题，最后作为总结者，你得出结论“9.8更大”，并提供这个答案。整个过程就像你在脑海中反复思考和修正你的推理一样。
主要功能： DoT的主要功能是提高大型语言模型在复杂推理任务中的表现。它通过组织命题、批评、改进和验证，形成一个连贯的有向无环图结构，使模型能够在保持逻辑一致性的同时，探索复杂的推理路径。
主要特点：
- 有向无环图（DAG）结构： DoT将推理过程建模为一个DAG，每个节点代表一个被提出、批评、改进或验证的命题。
- 角色特定令牌： 通过使用特定角色的令牌（如<proposer>、<critic>、<summarizer>），DoT能够在提出想法和批判性评估之间无缝转换，提供比二元信号更丰富的反馈。
- 自回归下一个令牌预测： 利用自回归模型预测下一个令牌，使得模型能够迭代地改进其推理。
- 拓扑理论的形式化： 通过拓扑理论为DoT提供数学基础，确保推理过程的逻辑一致性和有效性。
工作原理： DoT的工作原理包括以下几个步骤：
- 命题提出： 模型作为“提议者”提出一个新的命题，并将其作为DAG中的一个节点。
- 批判性评估： 模型作为“批评者”评估这个命题，如果发现错误或不一致，就会添加一个新的批判节点，并在命题和批判之间建立一个有向边。
- 命题改进： 根据批判，模型作为“提议者”生成一个改进的命题，这在DAG中表示为一个新的节点。
- 迭代过程： 这个过程会重复进行，直到命题被验证为止。
- 总结和验证： 一旦有足够的有效命题被建立，模型作为“总结者”将这些命题综合起来，执行DAG的拓扑排序，产生最终的推理输出。
具体应用场景：
- 复杂问题解答： 在需要解决复杂问题的场景中，DoT可以帮助模型通过迭代推理找到解决方案。
- 教育和学习辅助： 在教育领域，DoT可以辅助学生理解复杂概念，通过展示推理过程帮助他们学习。
- 自动化客户服务： 在客户服务中，DoT可以帮助聊天机器人更好地理解用户的问题，并提供更准确的答案。
0条评论