Understanding the Dark Side of LLMs' Intrinsic Self-Correction

内在自我修正方法旨在通过仅基于模型自身能力的反馈提示来改进大语言模型（LLM）的回答。然而，最近的研究表明，在没有 oracle 标签作为反馈提示的情况下，大语言模型的内在自我修正会失败。在本文中，我们旨在解释大语言模型在不同任务中的内在自我修正行为，特别是那些失败的情况。我们选择了一个简单任务和三个复杂任务，并使用了最先进的大语言模型，如 ChatGPT 系列（o1, 4o, 3.5-turbo）和 Llama 系列（2-7B, 3-8B 和 3.1-8B），设计了三种解释方法以揭示大语言模型内在自我修正的阴暗面。我们发现，内在自我修正可以（1）使大语言模型在中间步骤和最终答案上摇摆不定，并在简单事实问题上引发提示偏差；（2）在复杂任务中引入类似人类的认知偏差。根据我们的研究结果，我们还提供了两种简单而有效的方法来缓解这些问题：问题重复和少量样本的监督微调。我们的工作开源在 https://x-isc.info/。

该论文旨在探讨大型语言模型（LLMs）在没有外部标签反馈的情况下，通过内在自我修正机制对不同任务（包括简单和复杂任务）的响应效果。它特别关注那些失败案例，并试图揭示LLMs内在自我修正的潜在问题。这是一个相对较新的问题，因为随着LLMs的发展，其自我修正能力的有效性和局限性逐渐成为研究焦点。

论文的关键思路是通过设计三种解释方法来分析LLMs的内在自我修正机制，特别是针对失败案例。研究发现，内在自我修正可能导致LLMs在简单事实问题上产生答案摇摆和提示偏差，在复杂任务中引入类似人类的认知偏差。相比现有研究，该论文深入探讨了LLMs内在自我修正的具体机制及其局限性，提出了通过问题重复和少量样本监督微调的改进策略。

1. 研究涵盖了多种最先进的LLMs，如ChatGPT系列和Llama系列。 2. 提出了三种解释方法来揭示LLMs内在自我修正的问题。 3. 发现LLMs在简单和复杂任务中的自我修正可能带来的负面影响。 4. 提供了两种简单但有效的缓解策略：问题重复和少量样本监督微调。 5. 开源了所有工作，代码和数据集可在https://x-isc.info/获取。 6. 指出未来可以进一步研究的方向，例如如何更有效地利用少量标注数据进行模型优化。

最近在这个领域内的相关研究包括： 1. 'Rethinking the Role of Demonstrations in In-Context Learning' 2. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models' 3. 'Self-Instruct: Aligning Language Model with Self-Generated Instructions' 4. 'Language Models can be Knowledgeable Teachers' 这些研究主要集中在如何通过不同的提示策略或自我生成指令来提高LLMs的表现，而本文则专注于内在自我修正机制的局限性及改进方法。