LLMs cannot find reasoning errors, but can correct them!

自我纠正已经显示出在风格和质量方面提高LLM输出的前景（例如Chen等人，2023年; Madaan等人，2023年），但最近试图自我纠正逻辑或推理错误的尝试通常会导致正确答案变为不正确，从而导致整体表现更差（Huang等人，2023年）。在本文中，我们将自我纠正过程分解为两个核心组成部分：错误发现和输出纠正。对于错误发现，我们发布了BIG-Bench Mistake数据集，其中包含Chain-of-Thought推理跟踪中的逻辑错误。我们提供了几个最先进的LLM的基准数，并证明LLM通常难以发现逻辑错误。对于输出纠正，我们提出了一种回溯方法，当给出错误位置信息时，可以提供大幅改进。我们将回溯解释为强化学习方法的轻量级替代方案，并表明在60-70％的准确率下，它仍然有效。

本论文旨在解决自我纠正过程中的逻辑错误问题，提出了一个轻量级的回溯方法来改进输出结果，同时提供了一个逻辑错误数据集，旨在帮助语言模型更好地发现逻辑错误。这是一个新的问题。

本论文提出了一个轻量级的回溯方法来改进语言模型的输出结果，该方法可以有效地纠正逻辑错误，同时避免了当前自我纠正方法容易导致正确答案变成错误答案的问题。与当前领域的研究相比，这篇论文提出的回溯方法是一种轻量级的替代方案，同时可以在给出逻辑错误位置信息的情况下获得较大的改进。

本论文提供了一个逻辑错误数据集BIG-Bench Mistake，旨在帮助语言模型更好地发现逻辑错误。论文还提供了几个当前最先进的语言模型在该数据集上的基准测试结果，结果表明语言模型在发现逻辑错误方面存在困难。此外，本论文提出的回溯方法可以在给出逻辑错误位置信息的情况下提供大幅改进，并且相比于强化学习方法，该方法更加轻量级，同时仍然能够保持较高的准确率。

最近在这个领域中，也有一些相关的研究。例如，Chen等人提出的自我纠正方法可以改善语言模型的风格和质量，而Madaan等人则提出了一种可以改进语言模型输出的自我纠正方法。然而，Huang等人指出，当前自我纠正方法容易导致正确答案变成错误答案，从而导致整体表现更差。