Problem-Solving Logic Guided Curriculum In-Context Learning for LLMs Complex Reasoning

情境学习（ICL）可以显著增强大型语言模型（LLMs）的复杂推理能力，关键在于演示示例的选择和排序。以往的方法通常依赖于简单的特征来衡量示例之间的相关性。我们认为这些特征不足以反映示例之间的内在联系。在本研究中，我们提出了一种由问题解决逻辑引导的情境学习策略。我们通过分析问题解决逻辑来选择演示示例，并根据课程学习对其进行排序。 具体来说，我们基于BREAK数据集构建了一个问题解决逻辑指令集，并微调了一个语言模型以分析示例的问题解决逻辑。随后，我们根据问题解决逻辑选择了适当的演示示例，并根据解决问题的步骤数量评估了它们的难度。按照课程学习的原则，我们将示例从简单到复杂排序，作为上下文提示。多个基准测试的实验结果表明，我们的方法在性能和效率方面优于以前的情境学习方法，有效提升了大型语言模型的复杂推理能力。我们的项目将在后续公开。

该论文试图通过改进示例选择和排序方法来增强大型语言模型（LLMs）的复杂推理能力。这是一个在现有研究基础上进一步优化的问题，而不是一个全新的问题，但其解决方式提出了新的思路。

关键思路在于提出了一种基于问题解决逻辑的课程学习策略来进行上下文学习（ICL）。与以往仅依赖简单特征衡量示例相关性的方法不同，本研究通过分析问题解决逻辑来选择和排序示范例子，从而更准确地反映例子之间的内在联系，并根据解题步骤的数量评估难度，实现从易到难的示例排列。

论文使用了BREAK数据集构建了问题解决逻辑指令集，并对语言模型进行了微调以分析示例的问题解决逻辑。实验结果显示，该方法在多个基准测试中优于先前的ICL方法，提高了性能和效率。此外，项目代码将公开，为后续研究提供了便利。未来可以继续深入研究如何更好地量化和理解问题解决逻辑，以及探索更多应用场景。

最近在这个领域中的相关研究包括：1. 'Improving Few-Shot Learning with Curriculum Tuning' 提出了通过调整模型参数来优化少样本学习的方法；2. 'Learning to Learn by Zero-Shot Imitation' 探讨了零样本模仿学习的可能性；3. 'Curriculum Learning for Neural Machine Translation' 将课程学习应用于神经机器翻译。这些研究都旨在提升模型的学习效率和泛化能力。