Abstraction-of-Thought Makes Language Models Better Reasoners

本文探讨了抽象推理的重要性，即从问题的抽象本质出发进行推理，这是人类推理概括的关键。然而，如何让语言模型进行抽象推理仍未得到研究。本文引入了一种新的结构化推理格式，称为“思维抽象”（AoT）。 AoT 的独特之处在于其明确要求在推理过程中使用不同层次的抽象。这种方法可以促使语言模型在纳入具体细节之前，首先考虑抽象层面，这是目前普遍的“思维链”（CoT）方法所忽视的。为了使模型符合 AoT 格式，本文提出了 AoT Collection，这是一个通用的微调数据集，包含 348k 个高质量的样本和 AoT 推理过程，通过自动化和可扩展的流程收集。我们使用 AoT Collection 对各种语言模型进行微调，并在挑战性基准 Big-Bench Hard 上对 23 个未见过的任务进行了广泛的评估。实验结果表明，符合 AoT 推理格式的模型在许多推理任务中明显优于符合 CoT 推理格式的模型。

本论文试图解决如何让语言模型进行抽象推理的问题，这是一个新问题。

论文提出了一种名为Abstraction-of-Thought（AoT）的结构化推理格式，该格式要求在推理过程中使用不同层次的抽象思维，从而使语言模型能够先从抽象层面考虑问题，然后再加入具体细节。与当前的Chain-of-Thought（CoT）方法相比，这种方法更符合人类的思维方式。

论文提出了一个包含348k个高质量样本的AoT Collection数据集，用于对模型进行微调，并在23个挑战性任务上进行了广泛的评估。实验结果表明，与CoT方法相比，符合AoT推理格式的模型在许多推理任务上表现出更好的性能。

最近在这个领域中，也有一些相关的研究，如《Abstract Reasoning with Distracting Features》、《A Systematic Study of Generalization in Machine Learning》等。