On the Diagram of Thought

我们介绍了“思维图”（DoT），这是一种框架，将大型语言模型（LLMs）中的迭代推理建模为单个模型内的有向无环图（DAG）。与传统方法将推理表示为线性链或树不同，DoT将命题、批评、细化和验证组织成一个有机的DAG结构，使模型能够在保持逻辑一致性的同时探索复杂的推理路径。图中的每个节点对应于已经被提出、批评、细化或验证的命题，使LLM能够通过自然语言反馈迭代改进其推理。通过利用具有角色特定标记的自回归下一个标记预测，DoT促进了在提出想法和批判性评估之间的无缝过渡，提供比二进制信号更丰富的反馈。此外，我们使用拓扑理论对DoT框架进行了形式化，提供了确保推理过程中逻辑一致性和完整性的数学基础。该方法增强了单个LLM内的训练和推理过程，消除了多个模型或外部控制机制的需要。DoT为设计下一代推理专用模型提供了一个概念框架，强调训练效率、强大的推理能力和理论基础。代码可在https://github.com/diagram-of-thought/diagram-of-thought上获得。

该论文的目的是提出一种新的框架，即思维图（DoT），以将大型语言模型（LLMs）中的迭代推理建模为单个模型内的有向无环图（DAG）。该框架旨在改善LLMs在推理方面的能力。

该论文的关键思路是使用思维图（DoT）框架来组织、管理和优化LLMs中的推理过程。通过将建议、批评、细化和验证等推理步骤组织成一个有机的DAG结构，使模型能够探索复杂的推理路径，同时保持逻辑一致性。该框架利用自回归的下一个标记预测，结合角色特定的标记，实现了提出思想和批判评估之间的无缝转换，提供了比二进制信号更丰富的反馈。

该论文的亮点包括使用Topos Theory对DoT框架进行形式化，从而确保推理过程的逻辑一致性和准确性。此外，该论文还提供了一个开源代码库，以便其他研究人员可以使用和扩展该框架。实验设计了多个基准数据集，证明了DoT框架在推理能力方面的有效性和优越性。该框架的提出为未来设计推理专用模型提供了概念框架，强调训练效率、强大的推理能力和理论基础。

最近在这个领域中，还有一些相关的研究，例如《GPT-3》和《Turing-NLG》等。