West-of-N: Synthetic Preference Generation for Improved Reward Modeling

在语言模型对齐中，强化学习从人类反馈中获得成功的关键在于潜在奖励模型的质量。本文提出了一种新方法，通过生成合成偏好数据来提高奖励模型的质量，从而增强训练数据集的策略性和高质量的偏好对。受最佳N个采样策略在语言模型训练中的良好结果启发，我们将其应用于奖励模型训练。这导致了一种自我训练策略，通过在给定查询的响应池中选择最佳和最差的候选者来生成偏好对。实证结果表明，这种方法提高了任何奖励模型的性能，其效果与添加类似数量的人类偏好数据相当。该研究为通过提供合成偏好生成作为奖励建模挑战的解决方案，开辟了改进语言模型对齐中强化学习从人类反馈中获得成功的新途径。

本论文旨在提高强化学习从人类反馈中学习（RLHF）在语言模型对齐中的成功率，通过生成合成偏好数据来增强训练数据集，从而提高奖励模型的质量。

本论文提出了一种新颖的方法，通过生成合成偏好数据来增强训练数据集，从而提高奖励模型的质量。该方法使用Best-of-N抽样策略，将其扩展应用到奖励模型训练中，通过选择给定查询的响应池中的最佳和最差候选项来生成偏好对。

本论文的亮点包括提高奖励模型质量的新颖方法，通过合成偏好数据来增强训练数据集，实验结果表明，该方法可以提高任何奖励模型的性能，其效果与添加相似数量的人类偏好数据相当。论文使用了Best-of-N抽样策略，将其扩展应用到奖励模型训练中。本论文的工作为改进RLHF提供了新的研究思路。

近期在这个领域的相关研究包括“Learning from Human Preferences via Pareto Optimization”，“Preference-Based Policy Learning from User Feedback”，“Preference-Based Reinforcement Learning: A Comprehensive Survey and Recent Advances”。