Optimizing Safe and Aligned Language Generation: A Multi-Objective GRPO Approach

将大型语言模型（LLMs）与人类价值观和安全性约束对齐是一项挑战，尤其是在有用性、真实性以及避免伤害等目标发生冲突时。通过人类反馈进行强化学习（RLHF）在引导模型方面取得了显著的成功，但其过程复杂且可能不稳定。近期的一些方法，例如直接偏好优化（DPO），简化了基于偏好的微调过程，但可能会引入偏差或在某些目标之间做出权衡。在本研究中，我们提出了一种带有多标签奖励回归模型的组相对策略优化（GRPO）框架，以实现安全且对齐的语言生成。GRPO算法通过比较采样响应的组来优化策略，消除了对单独价值批评器的需求，并提高了训练效率。我们训练了一个奖励模型，用于预测多个对齐分数（如安全性、有用性等），并将这些分数整合为单一的奖励信号。我们为在GRPO中使用这种学习到的多方面奖励提供了理论推导，并讨论了其优点和局限性。实证结果表明，我们的方法在不同规模的模型（参数量分别为0.5B、7B和14B）的语言生成任务中改进了所有评估的安全性和质量指标，展示了目标之间的稳健平衡。我们将GRPO与基于PPO的RLHF和DPO进行了比较，指出GRPO能够在显著降低计算成本的情况下实现对齐，并明确处理多目标问题。**我们将开源所有训练好的模型，地址为https://huggingface.co/hydroxai。**

该论文试图解决大型语言模型（LLMs）在与人类价值观和安全约束对齐时面临的挑战，特别是在帮助性、真实性、避免伤害等目标之间存在冲突的情况下。这是一个长期存在的问题，但随着模型规模的增加，其复杂性和重要性也在提升。

论文提出了一种名为Group Relative Policy Optimization (GRPO) 的新框架，结合多标签奖励回归模型来优化语言生成的安全性和对齐性。相比现有的RLHF和DPO方法，GRPO通过比较响应组而非单个响应来优化策略，从而消除了对单独价值批评者的需要，并提高了训练效率。此外，GRPO引入了多方面奖励信号（如安全性、帮助性等）的整合方法，以实现更明确的多目标处理。

1. GRPO在不同规模（0.5B、7B、14B参数）的模型上均表现出稳健的性能改进；2. 实验设计涵盖了多种语言生成任务，并从多个维度评估了模型的安全性和质量指标；3. 论文提供了开源代码和预训练模型（https://huggingface.co/hydroxai），便于复现和进一步研究；4. 提出了理论推导支持多方面奖励信号的学习，为未来的研究提供了清晰的方向。

最近的相关研究包括：1. Direct Preference Optimization (DPO)，简化了偏好优化过程但可能引入偏差；2. PPO-based RLHF 方法，虽然有效但计算成本较高；3. 其他相关工作如《Aligning Language Models with Human Feedback via Reinforcement Learning》和《Training language models to follow instructions with human feedback》探讨了基于人类反馈的强化学习技术；4. 《Reward Modeling for Safe AI》研究了如何构建更安全的奖励模型。