Topologies of Reasoning: Demystifying Chains, Trees, and Graphs of Thoughts

自然语言处理（NLP）领域近年来取得了显著进展，特别是在改进大型语言模型（LLM）的性能方面，创新的提示技术成为一个显著的研究重点。在这些技术中，提示工程与结构相结合成为一种有前途的范例，例如Chain-of-Thought、Tree of Thoughts或Graph of Thoughts等设计，其中整个LLM推理过程由图表等结构指导。正如大量实例所证明的那样，这种范例显著提高了LLM解决许多任务的能力，包括逻辑或数学推理、规划或创意写作等。为了便于理解这个不断发展的领域并为未来的发展铺平道路，我们设计了一个有效和高效的LLM推理方案的通用蓝图。为此，我们对提示执行管道进行了深入分析，澄清和明确定义了不同的概念。然后，我们建立了第一个增强结构的LLM推理方案分类法。我们专注于识别利用的结构的基本类别，并分析这些结构的表示、使用这些结构的算法等。我们将这些结构称为推理拓扑，因为它们的表示在一定程度上变得空间化，因为它们包含在LLM上下文中。我们的研究使用所提出的分类法比较现有的提示方案，讨论某些设计选择如何导致性能和成本的不同模式。我们还概述了理论基础、提示与LLM生态系统的其他部分（如知识库）之间的关系以及相关的研究挑战。我们的工作将有助于推进未来的提示工程技术。

本文旨在提出一种有效且高效的大型语言模型（LLM）推理方案，通过结构化的提示技术来提高LLM的性能，解决各种任务，包括逻辑推理、数学推理、规划和创意写作等。同时，还试图建立一个通用的框架，以便未来的研究者可以更好地理解这一领域并推进LLM推理技术的发展。

本文提出了一种结构化提示技术的范式，即Chain-of-Thought、Tree of Thoughts或Graph of Thoughts等，通过这些结构来指导LLM的推理过程。同时，本文建立了第一个结构增强LLM推理方案的分类法，分析了不同结构的表示、算法和性能等方面，并比较了现有提示方案的设计选择对性能和成本的影响。

本文的亮点包括：建立了第一个结构增强LLM推理方案的分类法；提出了一种新的结构化提示技术的范式；比较了现有提示方案的设计选择对性能和成本的影响；讨论了提示技术与知识库等LLM生态系统其他部分的关系。同时，本文还使用了多个数据集进行了实验，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，例如《GPT-3: Language Models are Few-Shot Learners》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。