Rule Based Rewards for Language Model Safety

基于强化学习的大规模语言模型（LLMs）在人类偏好上的微调已被证明可以增强其能力和安全性行为。然而，在与安全性相关的情况下，如果没有对人类标注者提供精确的指导，收集的数据可能会导致模型变得过于谨慎，或者以不希望的方式回应，例如带有评判性。此外，随着模型能力和使用模式的演变，可能需要付出高昂的代价来添加或重新标注数据以修改安全行为。我们提出了一种新的偏好建模方法，该方法利用人工智能反馈，并且只需要少量的人类数据。我们的方法，基于规则的奖励（RBR），使用一组期望或不期望的行为规则（例如，拒绝不应带有评判性）以及一个大规模语言模型评分器。与之前使用人工智能反馈的方法不同，我们的方法使用细粒度、可组合的大规模语言模型评分的少量示例提示作为强化学习训练中的直接奖励，从而实现更大的控制力、准确性和更新的便捷性。我们展示了RBR是一种有效的训练方法，达到了97.1的F1分数，而基于人类反馈的基线方法为91.7，通过更好地平衡有用性和安全性，显著提高了安全行为的准确性。

该论文试图解决通过强化学习对大型语言模型（LLMs）进行微调时，如何在不牺牲模型有用性的情况下，更准确地调整其安全行为的问题。这是一个在不断发展的领域中的重要问题，因为随着模型能力和使用模式的变化，安全行为的调整变得越来越复杂。

论文提出了一种名为Rule Based Rewards (RBR)的新方法，利用规则集合和LLM评估器来生成细粒度、可组合的奖励信号，直接用于RL训练。这种方法不仅减少了对大量人类标注数据的依赖，还提高了安全行为的准确性，同时保持了模型的实用性。相比现有方法，RBR通过更精细的控制和更高的更新灵活性，显著提升了模型的安全性能。

论文通过实验证明了RBR的有效性，达到了97.1的F1分数，远高于基于人类反馈的基线方法（91.7）。实验设计包括使用细粒度的规则和LLM评估器生成奖励信号，并在多个安全相关任务上进行了测试。此外，论文还讨论了未来的研究方向，如进一步优化规则集和探索更多类型的规则。目前，论文没有提及代码是否开源，但提供了详细的实验设置和结果，为后续研究提供了坚实的基础。

近期在这个领域内，相关的研究还包括： 1. "Fine-Tuning Language Models from Human Preferences" - 该研究探讨了如何通过人类偏好对语言模型进行微调，以提高其安全性和有用性。 2. "Training Verifiers to Solve Math Word Problems" - 这篇论文提出了使用验证器来改进语言模型在数学问题上的表现，其中涉及了类似的安全性和准确性问题。 3. "Aligning Text Generation with Human Values Using Reward Modeling" - 该研究通过奖励建模方法来对齐文本生成与人类价值观，与本文的方法有相似之处，但重点不同。 4. "Improving Language Model Safety via Human-AI Collaboration" - 这篇论文探讨了通过人机协作来提高语言模型的安全性，与本文的方法形成互补。