Investigating How Large Language Models Leverage Internal Knowledge to Perform Complex Reasoning

虽然有了显著的进展，但我们对大型语言模型（LLMs）如何利用知识进行推理的理解仍然有限。为了解决这个问题，我们提出了一种方法，将复杂的现实问题分解成一个图形，将每个问题表示为一个节点，并将需要解决问题的背景知识表示为父节点。我们开发了DepthQA数据集，将问题分解为三个深度：（i）回忆概念知识，（ii）应用程序知识，以及（iii）分析战略知识。基于分层图，我们量化了前向差异，即LLMs在简单的子问题与复杂问题上的表现差异。我们还测量了后向差异，即LLMs回答复杂问题，但在简单问题上却有困难。我们的分析显示，较小的模型比较大的模型有更多的差异。此外，通过多轮交互引导模型从简单问题到复杂问题，可以提高模型的性能，突显了结构化中间步骤在知识推理中的重要性。这项工作增强了我们对LLM推理的理解，并提出了改进其解决问题能力的方法。

本文旨在解决大型语言模型（LLMs）如何利用知识进行推理的问题。论文提出了一种将复杂的现实问题分解成图形的方法，将每个问题表示为一个节点，并将需要解决问题的背景知识作为父节点。通过构建DepthQA数据集，将问题分为三个深度：（i）回忆概念知识，（ii）应用程序知识和（iii）分析战略知识。基于分层图形，我们量化了前向差异，即LLMs在简单子问题与复杂问题上的表现差异。我们还测量了后向差异，即LLMs回答复杂问题但在简单问题上遇到困难。我们的分析表明，较小的模型比较大的模型具有更多的差异。此外，通过多轮交互引导模型从简单问题到复杂问题，可以提高各种模型大小的性能，突显了知识推理中结构化中间步骤的重要性。这项工作增强了我们对LLM推理的理解，并提出了改善其解决问题能力的方法。

本文提出了一种将复杂问题分解成图形的方法，将需要解决问题的背景知识作为父节点，并通过构建DepthQA数据集将问题分为三个深度。通过量化前向和后向差异，我们发现较小的模型比较大的模型具有更多的差异，并且通过多轮交互引导模型从简单问题到复杂问题，可以提高模型的性能。

本文的亮点包括：提出了一种新的方法来理解LLMs的推理过程；构建了DepthQA数据集，将问题分为三个深度；量化了前向和后向差异；通过多轮交互引导模型从简单问题到复杂问题，提高了模型的性能。

最近的相关研究包括：《GPT-3》、《BERT》、《ERNIE》等大型语言模型的研究。