HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback

本文提出了一种新的强化学习方法——基于AI反馈的混合强化学习（HRLAIF），相比于基于人类反馈的强化学习（RLHF），它具有注释周期短、成本低等优势，在大型语言模型（LLM）训练的快速策略迭代期间非常高效。在RLAIF训练中，使用ChatGPT作为标注器为开放领域提示提供反馈，我们观察到人类评估者对模型响应的偏好胜率增加，但评估者的满意率下降。分析表明，满意率下降主要是由于某些响应变得不太有用，特别是在正确性和真实性方面，突显了基本RLAIF的实际限制。因此，本文提出了HRLAIF方法，它通过提高AI注释响应的准确性，使模型的有用性在训练过程中更加稳健。此外，它还采用AI进行红队行动，进一步提高了模型的无害性。人类评估结果表明，HRLAIF继承了RLAIF提高人类偏好的能力，同时还提高了响应的满意率。与RL之前的策略模型相比，它的满意率提高了2.08％，有效解决了基本RLAIF后满意率下降4.58％的问题。

本论文旨在解决基于AI反馈的强化学习（RLAIF）在训练大型语言模型（LLM）时可能出现的一些问题，如准确性和正确性等方面的限制。作者提出了一种基于AI反馈的混合强化学习方法（HRLAIF），旨在提高模型响应的准确性和帮助性，同时保证模型的无害性。

HRLAIF方法采用了AI的注释来提高模型响应的准确性，同时使用AI进行红队测试，以进一步提高模型的无害性。在人类评估方面，HRLAIF方法相对于RLAIF方法在提高人类偏好的同时，还提高了响应的满意度。

论文使用ChatGPT作为标签器，提供对开放领域提示的反馈。实验结果表明，HRLAIF方法相对于RLAIF方法在提高人类偏好的同时，还提高了响应的满意度。与RL之前的策略模型相比，HRLAIF方法的满意度增加了2.08％，有效解决了基本RLAIF方法导致的满意度下降的问题。

近期的相关研究包括使用不同的AI反馈方法来训练LLM，如基于人类反馈的RLHF方法。