Large Language Models have Intrinsic Self-Correction Ability

大型语言模型（LLMs）因其在各种自然语言处理任务中的卓越能力而受到重视，但它们会出现幻觉，从而导致性能下降。改善LLMs性能的一种有前途的解决方案是要求LLMs在生成后修正其答案，这种技术被称为自我修正。在两种自我修正中，内在自我修正被认为是一种有前途的方向，因为它不利用外部知识。然而，最近的研究对LLM进行内在自我修正的能力的有效性产生了怀疑。在本文中，我们通过理论分析和实证实验，提出了一种关于LLMs内在自我修正能力的新视角。此外，我们确定了两个关键因素，以实现成功的自我修正：零温度和公正提示。利用这些因素，我们展示了内在自我修正能力在多个现有的LLMs中得到了展示。我们的发现为理解LLMs的自我修正行为的基本理论提供了见解，并强调了在利用它们的全部潜力时公正提示和零温度设置的重要性。

本论文旨在解决LLMs自我修正能力的问题，探究LLMs的内在自我修正能力是否可行。

通过理论分析和实验验证，本文提出了LLMs内在自我修正能力的新视角，并确定了成功自我修正的两个关键因素：零温度和公平提示。

本文通过实验展示了多个现有LLMs的内在自我修正能力，并提供了对LLMs自我修正行为的基本理论的见解。实验使用了多个数据集，并开源了代码。本文的发现有助于深入研究LLMs的自我修正能力。

最近的相关研究包括“Generating Self-Correcting Text with Transformers”和“BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model”。