Refusal in LLMs is an Affine Function

我们提出仿射概念编辑（ACE）作为一种通过直接干预激活来引导语言模型行为的方法。我们从模型激活向量的仿射分解开始，并表明先前用于引导模型行为的方法对应于该分解的子集项。然后，我们推导了ACE，并用它来控制十个不同模型（包括Llama 3 70B）的拒绝行为。ACE结合了仿射子空间投影和激活添加，以可靠地控制模型在不同提示类型下的拒绝响应。我们使用基于大型语言模型的评分方法对有害和无害提示的集合进行评估。实验结果表明，ACE在控制模型行为方面比现有方法更加精确，并且能够推广到仅通过仿射子空间投影进行方向性消融会产生不连贯输出的模型。重现我们结果的代码可在 https://github.com/EleutherAI/steering-llama3 获取。

该论文旨在解决如何通过直接干预模型激活来控制大型语言模型的行为，特别是针对有害内容生成的拒绝响应行为。这是一个在确保AI系统安全性和可靠性方面的新挑战。

论文提出了仿射概念编辑（Affine Concept Editing, ACE）方法，通过模型激活向量的仿射分解，结合仿射子空间投影和激活添加技术，实现对模型行为的精确控制。这一方法不仅能够有效控制模型的拒绝响应，还能在多种模型上保持一致的表现，这是现有方法难以达到的。

1. 论文在十个不同的模型上进行了实验，包括Llama 3 70B这样的超大规模模型，验证了ACE方法的有效性。 2. 使用LLM-based评分系统评估了ACE在有害和无害提示上的表现，展示了其在不同场景下的稳定性和精确度。 3. 提供了开源代码（https://github.com/EleutherAI/steering-llama3），方便其他研究者复现和进一步研究。 4. 实验设计全面，涵盖了多种类型的提示，确保了方法的普适性和鲁棒性。

1. "Steering Generative Models with Continual Prompts" - 这篇论文探讨了通过持续提示来引导生成模型的方法。 2. "Controlling Memorization and Generalization in Large Language Models" - 研究了如何在大型语言模型中平衡记忆和泛化能力。 3. "Adversarial Examples for Evaluating Reading Comprehension Systems" - 探讨了对抗样本在阅读理解系统评估中的应用。 4. "Learning to Protect: A Framework for Controlling the Output of Language Models" - 提出了一个框架来控制语言模型的输出，以防止生成有害内容。