CLHA: A Simple yet Effective Contrastive Learning Framework for Human Alignment

人类反馈强化学习（RLHF）是对齐大型语言模型（LLMs）与人类偏好的关键技术，确保这些LLMs以对用户有益且易于理解的方式行事。然而，基于强化学习的人类对齐技术中长期存在的挑战在于其固有的复杂性和难以训练性。为了解决这个挑战，我们提出了一种简单而有效的对比学习框架用于人类对齐（CLHA），以直接将LLMs与人类偏好对齐。CLHA采用一种新颖的重评分策略来评估数据中的噪声，通过考虑其固有质量并动态调整训练过程来解决这个挑战。同时，CLHA利用成对对比损失和自适应监督微调损失来自适应地修改生成响应的可能性，确保增强与人类偏好的对齐。使用先进的方法，CLHA超越了其他算法，在广泛使用的“有益且无害”数据集上，在奖励模型得分、自动评估和人类评估方面展示了卓越的性能。

论文旨在解决使用强化学习从人类反馈中提高大型语言模型与人类偏好的一致性的问题。该方法的难点在于训练过程的复杂性和困难性。

论文提出了一种简单而有效的对比学习框架，用于直接将大型语言模型与人类偏好进行对齐。该框架采用了新颖的重新评分策略来评估数据中的噪声，并根据其固有质量动态调整训练过程。同时，CLHA利用成对对比损失和自适应监督微调损失来自适应地修改生成响应的可能性，以确保与人类偏好的增强对齐。

论文使用了先进的方法，在广泛使用的“有益且无害”数据集上，在奖励模型分数、自动评估和人类评估方面展现出优越的性能。此外，论文还开源了代码。

在这个领域中，最近的相关研究包括：“Learning to Learn from Human Preferences”和“Reinforcement Learning with Human Teachers: Evidence of Feedback and Guidance with Implications for Learning Performance”。