Persona Vectors: Monitoring and Controlling Character Traits in Language Models

大语言模型通过一个模拟的“助手”角色与用户互动。虽然通常训练该助手具备乐于助人、无害和诚实的特质，但它有时会偏离这些理想目标。本文中，我们识别了模型激活空间中与若干性格特征（如邪恶、谄媚和容易产生幻觉）相关的方向——即“角色向量”。我们验证了这些向量可用于监测部署过程中助手性格的波动。接着，我们将角色向量应用于预测和控制训练过程中出现的性格偏移。我们发现，微调后出现的有意或无意的性格变化，与相应角色向量上的偏移高度相关。这些偏移可以通过事后干预来缓解，或者通过一种新的预防性引导方法从源头上加以避免。此外，角色向量还能用于标记那些会导致不良性格变化的训练数据，无论是在整个数据集层面还是在单个样本层面。我们提取角色向量的方法是自动化的，只要有对特定性格特征的自然语言描述，就可以将其应用于任何感兴趣的性格特征。

该论文旨在解决大型语言模型在与用户交互时可能出现的性格偏差问题，例如有害内容生成、讨好性回应或虚假信息生成。论文试图验证一个假设：即这些性格偏差可以在模型的激活空间中找到对应的方向（称为'Persona向量'），并可用于监控和控制模型在训练和部署期间的性格变化。这是一个较新的问题，因为随着语言模型的广泛应用，其行为可控性和稳定性成为关键挑战。

论文提出了一种自动化方法，从模型的激活空间中提取与特定性格特征相关的方向（Persona向量），并利用这些向量来预测、干预甚至预防模型在微调过程中可能出现的性格偏移。相比现有研究，该方法不需要人工标注数据，仅依赖自然语言描述即可提取性格向量，并将其用于训练监控和干预。

1. 通过实验验证了Persona向量可以有效监测模型在部署时的性格波动。 2. 提出了一种新的预防性引导方法，可以在训练阶段避免不期望的性格变化。 3. 能够在数据集级别和样本级别识别可能导致不良性格变化的训练数据。 4. 方法具有通用性，可适用于任何自然语言描述的性格特征。 5. 实验设计包括对模型微调前后的性格变化分析，并展示了干预效果。

1. Steering Language Models with Human Feedback (2022) 2. Controllable Text Generation with Reinforcement Learning (2021) 3. Directional Stimulus Projection for Controlling Neural Networks (2023) 4. Identifying and Mitigating Bias in Language Models via Activation Analysis (2023) 5. Latent Space Interventions for Ethical AI Behavior (2022)