Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection

尽管RLHF有望将LLM与人类偏好相一致，但它经常导致表面上的一致，优先考虑风格变化而不是提高LLM下游性能。未明确说明的偏好可能会混淆模型对齐的方向。缺乏探索限制了识别改进模型的期望输出。为了克服这些挑战，我们提出了一种新的框架：反思反馈强化学习（RLRF），它利用基于详细标准的细粒度反馈来改进LLM的核心能力。 RLRF采用自我反思机制系统地探索和改进LLM响应，然后通过RL算法和有前途的响应来微调模型。我们在Just-Eval，Factuality和Mathematical Reasoning上的实验证明了RLRF的功效和变革潜力，超越了表面层次的调整。

论文旨在解决强化学习人工智能模型（LLMs）中表面对齐的问题，提出了一种新的框架RLRF来通过详细的反馈来改进模型的核心能力。

RLRF框架利用自我反思机制系统地探索和改进LLMs的响应，然后通过强化学习算法和有前途的响应来微调模型。

论文在Just-Eval、Factuality和Mathematical Reasoning数据集上进行了实验，证明了RLRF的有效性和变革潜力。值得注意的是，RLRF通过细粒度反馈来改善模型性能，而不是只优化表面风格。此外，论文还提出了一种自我反思机制来帮助模型更好地探索和改进。

在强化学习人工智能模型的领域中，最近的相关研究包括：《Reinforcement Learning with Unsupervised Auxiliary Tasks》、《Learning to Learn by Gradient Descent by Gradient Descent》、《Unsupervised Control through Non-parametric Discriminative Rewards》等。