The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning

本文讨论了大型语言模型（LLM）的对齐调整过程，通常包括通过监督微调（SFT）进行指令学习和通过人类反馈进行强化学习的偏好调整（RLHF）。最近的一项研究（LIMA，Zhou等人，2023）表明，仅使用1K个示例进行SFT也可以实现显著的对齐性能，这表明对齐调整的效果可能是“表面的”。这引发了对对齐调整如何转换基础LLM的问题。 通过检查基础LLM和其对齐版本之间的标记分布变化，我们分析了对齐调整的效果。我们的发现表明，在大多数标记位置上，基础LLM和其对齐调整版本的解码表现几乎相同。大多数分布变化发生在风格标记上。这些直接证据强烈支持LIMA提出的“表面对齐假设”。 基于这些发现，我们通过提出一个简单的、无需微调的对齐方法URIAL，重新思考了LLM的对齐。URIAL通过基础LLM的上下文学习（ICL）纯粹实现有效的对齐，只需要三个恒定的风格示例和一个系统提示。我们在一个名为JUST-EVAL-INSTRUCT的多样化示例集上进行了细粒度和可解释的评估。结果表明，使用URIAL的基础LLM可以匹配甚至超越使用SFT或SFT+RLHF对齐的LLM的性能。我们展示了通过策略提示和ICL可以显著降低无调整和有调整的对齐方法之间的差距。我们关于对齐表面性质的发现和URIAL的结果表明，深入分析和理论理解对未来LLM研究至关重要。

论文旨在分析大型语言模型（LLM）的对齐调整过程，探讨是否存在不需要使用监督微调或强化学习等对齐调整方法，仍然能够实现有效对齐的可能性。

论文提出了一种名为URIAL的简单、无需微调的对齐方法，通过基于上下文的学习（ICL）和少量的样式示例以及系统提示，能够实现与使用SFT或SFT + RLHF微调的LLM相媲美的对齐效果。

论文通过分析基础LLM和对齐调整后的LLM之间的令牌分布差异，发现大部分分布变化发生在样式令牌上，证明了对齐调整的表面性质。URIAL方法通过在上下文中学习，能够实现有效对齐，且只需要少量样式示例。作者在名为JUST-EVAL-INSTRUCT的数据集上进行了实验，结果表明URIAL方法能够与使用微调的LLM相媲美，甚至超越微调的LLM。论文指出，对于未来的LLM研究，深入分析和理论理解对齐调整的机制至关重要。

在相关研究方面，最近的研究主要集中在对齐调整的微调和强化学习方法上，例如LIMA（Zhou等人，2023）。