Improving Reward Models with Synthetic Critiques

奖励模型（RM）在通过强化学习从人类反馈中对齐语言模型方面发挥了至关重要的作用。RM被训练为预测反映人类偏好的分数，这需要大量的人类注释时间和成本。此外，RM往往会在训练集中过度拟合表面特征，从而阻碍其在未见分布上的泛化性能。我们提出了一种新方法，利用大型语言模型生成的合成自然语言批评来提供额外的反馈，评估诸如指令遵循、正确性和风格等方面。这提供了更丰富的信号和更强大的特征，供RM评估和评分。我们证明，高质量的批评可以提高从不同预训练模型初始化的RM的性能和数据效率。相反，我们还表明，低质量的批评会对性能产生负面影响。此外，融入批评可以增强RM训练的可解释性和鲁棒性。

本论文的问题是如何提高语言模型的奖励模型的性能和数据效率，同时增强其可解释性和鲁棒性。

本论文的关键思路是使用大型语言模型生成的合成自然语言批评来提供额外的反馈，评估方面如指令遵循、正确性和风格等方面，从而为奖励模型提供更丰富的信号和更强的特征。

论文提出的方法使用合成自然语言批评来提高奖励模型的性能和数据效率，同时增强其可解释性和鲁棒性。实验表明，高质量的批评可以提高不同预训练模型初始化的奖励模型的性能和数据效率，而低质量的批评则会对性能产生负面影响。

最近的相关研究包括使用对抗性训练来提高语言模型的鲁棒性，以及使用不同的奖励函数来训练对话生成模型。相关论文包括“Adversarial Training Methods for Robustness of Machine Learning Systems: A Survey”和“Reinforcement Learning Based Dialogue Generation: A Review”。