Stepwise Informativeness Search for Improving LLM Reasoning

大型语言模型（LLMs）的进展显著提升了通过生成自由文本推理依据来进行多步骤推理的能力。然而，最近的研究表明，LLMs在处理长上下文时容易在中间部分失去焦点。这引发了一个问题，即随着推理的进行，LLMs可能会忽略早期步骤中的信息，从而在解码后续步骤时产生不可靠和冗余的推理依据。为了解决这一问题，我们提出通过以下两种方法引导LLMs生成更准确、更简洁的逐步推理依据：(1) 主动引用未充分利用的先前步骤中的信息；(2) 最小化新旧步骤之间的冗余信息。我们引入了逐步信息搜索，这是一种推理时的树搜索框架，结合了两种选择启发式方法：基于基础的选择，优先考虑对未充分利用的步骤给予更多关注的步骤；以及基于新颖性的选择，鼓励具有新颖结论的步骤。在推理依据生成过程中，我们采用了一种自基础策略，提示LLMs在每一步推理之前明确引用相关的先前步骤以提供前提条件。在四个推理数据集上的实验结果表明，我们的方法通过生成高质量的推理依据，减少了错误和冗余，从而提高了推理准确性。

该论文旨在解决大型语言模型（LLMs）在处理多步推理时，容易在长文本中间部分失去焦点的问题。这种现象可能导致LLMs在生成后续推理步骤时忽略早期步骤中的信息，从而产生不可靠和冗余的推理依据。这是否是一个新问题？是的，随着LLMs能力的增强，它们在长文本处理中的局限性逐渐显现。

关键思路是通过引入‘逐步信息搜索’框架来改进LLMs生成更准确和简洁的分步推理依据。该框架包含两个选择启发式方法：基于基础的引导选择（grounding-guided selection），优先考虑对未充分利用的早期步骤给予更多关注；以及基于新颖性的引导选择（novelty-guided selection），鼓励生成具有新颖结论的步骤。相比当前领域的研究，这篇论文创新地提出了在推理生成过程中使用自我基础策略，促使LLMs明确引用相关前期步骤作为前提条件。

论文的其他亮点包括：1) 提出了自我基础策略，使LLMs能够在每一步推理中引用先前的相关步骤；2) 在四个推理数据集上的实验结果表明，这种方法可以提高推理准确性，减少错误和冗余；3) 研究设计严谨，通过对比实验验证了所提方法的有效性；4) 虽然文中未提及，但这类研究通常会伴随开源代码或模型，以促进社区进一步的研究和发展。未来值得继续深入研究的方向包括优化启发式选择算法、探索更多类型的推理任务以及跨领域应用的可能性。

最近在这个领域中，还有其他相关的研究，例如： - 'Chain-of-Thought Prompting Elicits Reasoning in Large Language Models' - 'Large Language Models are Zero-Shot Reasoners' - 'Retrieval-Augmented Generation for Knowledge-Intensive Reasoning Tasks' 这些研究都围绕着如何提升LLMs在复杂推理任务中的表现，特别是通过改进提示工程、知识检索和生成机制等方面。