Aligning Large Language Models with Human Preferences through Representation Engineering

将大型语言模型（LLMs）与人类偏好对齐对于增强它们的实用性（如有帮助性、真实性、安全性、无害性和趣味性）至关重要。现有的实现此对齐的方法通常涉及使用人类反馈的强化学习（RLHF）来微调LLMs，基于人类标签评估模型响应的相对质量。然而，RLHF在微调过程中容易不稳定，并且实施上存在挑战。本研究受到表示工程（RepE）领域的启发，旨在识别嵌入在LLM活动模式中的高级人类偏好的相关表示，并通过转换其表示来实现对模型行为的精确控制。这种新颖的方法被称为从人类反馈中对齐表示（RAHF），证明了它的有效性、计算效率和易于实施性。广泛的实验证明了RAHF不仅能够捕捉表示，还能够操纵表示以与广泛的人类偏好或价值观对齐，而不是被限制在单一的概念或功能（例如诚实或偏见）上。RAHF适应多样的人类偏好的多功能性显示了它提高LLM性能的潜力。

论文旨在通过一种新方法RAHF，实现将大型语言模型（LLMs）与人类偏好对齐，以提高其实用性、真实性、安全性、无害性和趣味性。相比现有的RLHF方法，RAHF能够更加精确地控制模型行为，且能够适应各种人类偏好。

RAHF方法通过对LLMs中人类偏好的相关表征进行转换，从而实现将模型的行为与人类偏好对齐。相比于RLHF方法，RAHF方法更加稳定、高效、易于实现。

论文通过实验验证了RAHF方法的有效性，并证明了其能够适应各种人类偏好。论文还提供了使用的数据集和开源代码，为后续研究提供了便利。值得进一步研究的是RAHF方法是否可以应用于其他类型的模型，以及如何进一步提高其效率。

近期相关研究包括《Fine-Tuning Language Models from Human Preferences》、《Reinforcement Learning from Human Preferences》等。