A Theoretical Understanding of Self-Correction through In-context Alignment

最近的研究表明，与人类类似，大型语言模型（LLM）在某些情况下能够通过自我纠正来提高其能力，即通过自我检查来纠正之前的回答。然而，我们对此类能力如何产生知之甚少。本研究基于一个类似于对齐任务的简化设置，从上下文学习的角度理论分析了自我纠正，表明当LLM给出相对准确的自我检查作为奖励时，它们能够以上下文的方式优化回答。值得注意的是，我们的理论构建超越了先前关于过度简化的线性变压器的理论，支撑了现实变压器的几个关键设计在自我纠正中的作用：softmax注意力、多头注意力和MLP块。我们在合成数据集上广泛验证了这些发现。受这些发现的启发，我们还展示了自我纠正的新应用，例如防止LLM越狱，其中一个简单的自我纠正步骤确实起到了很大的作用。我们相信这些发现将激发进一步研究，以理解、利用和增强自我纠正，以构建更好的基础模型。

论文试图探讨大型语言模型（LLMs）如何通过自我纠正来提高其能力，以及这种能力是如何产生的？

当LLMs通过相对准确的自我检查作为奖励时，它们可以通过上下文学习的方式来改进响应，这是一种新的自我纠正方法。

论文通过理论分析和合成数据集的实验验证了LLMs的自我纠正能力，并探讨了softmax attention、multi-head attention和MLP block等关键设计的作用。此外，论文还提出了自我纠正的新应用，如防止LLMs越狱。

最近的相关研究包括《GPT-3》和《XLNet》等大型语言模型的研究。