The Impact of Reasoning Step Length on Large Language Models

Chain of Thought（CoT）对于提高大型语言模型（LLMs）的推理能力非常重要。然而，CoT的有效性与提示中推理步骤的长度之间的相关性仍然大部分未知。为了阐明这一点，我们进行了几个实证实验来探索这种关系。具体而言，我们设计了扩展和压缩CoT演示中的理性推理步骤的实验，同时保持所有其他因素不变。我们有以下主要发现。首先，结果表明，在提示中延长推理步骤，即使没有向提示中添加新信息，也会显着增强LLMs在多个数据集上的推理能力。相反，缩短推理步骤，即使保留关键信息，也会显著降低模型的推理能力。这一发现突出了CoT提示中步骤数量的重要性，并为在复杂问题解决场景中更好地利用LLMs的潜力提供了实用指导。其次，我们还研究了CoT表现与演示中使用的理由之间的关系。令人惊讶的是，结果表明，即使是不正确的理由，如果它们保持必要的推理长度，也可以产生有利的结果。第三，我们观察到增加推理步骤的优点是任务依赖性的：简单任务需要较少的步骤，而复杂任务从更长的推理序列中获得显著收益。

论文旨在探讨Chain of Thought（CoT）对大型语言模型（LLMs）推理能力的影响，特别是探究提示中推理步骤长度与CoT效果的相关性。

研究发现，即使不添加新信息，增加提示中的推理步骤长度也可以显著提高LLMs在多个数据集上的推理能力。同时，即使保留关键信息，缩短推理步骤长度也会显著降低模型的推理能力。此外，研究还发现，CoT的表现与演示中使用的理由之间存在关系，推理步骤长度的优势取决于任务的复杂性。

论文通过实验设计探究了CoT对LLMs推理能力的影响，并发现了推理步骤长度与CoT效果的相关性。研究还发现，即使使用不正确的理由，只要推理步骤长度足够，也可以获得良好的结果。此外，研究还发现，推理步骤长度的优势取决于任务的复杂性。

最近的相关研究包括《GPT-3: Language Models are Few-Shot Learners》、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》等。