RLAC: Reinforcement Learning with Adversarial Critic for Free-Form Generation Tasks

开放式生成任务要求输出结果满足多种且通常是隐含的、针对具体任务的评估标准。相关评估标准数量众多，导致验证成本极高，对回复的评估也不够全面，这使得基于评估标准设计奖励信号的强化学习（RL）后训练方法难以扩展。这一问题还因另一个事实而变得更加严重：通常，将这些评估标准整合为单一奖励信号的最佳方式本身也高度依赖于具体的提示（prompt）。为此，我们提出了“对抗性评论家强化学习”（Reinforcement Learning with Adversarial Critic, RLAC），这是一种通过动态评估标准验证来应对上述挑战的后训练方法。该方法利用一个大语言模型（LLM）作为评论家（critic），动态识别出最可能的失败模式（例如事实错误或未处理的边缘情况），随后由外部验证器对这些情况进行核实，从而联合优化生成器和评论家。通过同时训练生成器和评论家，这一博弈机制提升了评论家的错误检测能力以及生成器的输出质量，同时减少了所需的验证次数。我们的实验表明，RLAC在文本生成的事实准确性和代码生成的正确性方面均有提升，且优于全面验证和奖励模型方法。我们还证明了动态评论家比固定评论家更有效，展示了RLAC在将强化学习后训练扩展至自由形式生成任务方面的巨大潜力。

论文试图解决在开放生成任务中，由于存在大量隐式的、任务特定的评估标准（rubrics），导致基于规则的强化学习后训练难以扩展的问题。传统的验证方式成本高昂且评估不完整，而如何将多种评估标准有效结合成单一奖励函数也高度依赖于具体提示（prompt-specific）。这是一个重要且尚未充分解决的问题，尤其在需要高质量生成输出的应用场景中。

提出Reinforcement Learning with Adversarial Critic (RLAC)，使用一个大型语言模型作为动态批评者（critic），该批评者能够识别生成结果中最可能失败的模式（如事实错误或未处理的边缘情况），然后仅对这些高风险错误进行外部验证。通过联合优化生成器和批评者，形成一种博弈机制，使得系统能以更少的验证次数提升生成质量。相比固定规则或静态奖励模型，这种方法更具适应性和效率。

实验表明RLAC在文本生成的事实准确性和代码生成的正确性上均优于全量验证和传统奖励模型方法；动态批评者的有效性被验证优于固定批评者；该方法显著减少了所需的外部验证次数，提升了RL后训练的可扩展性；尽管论文未明确提及开源代码，但其方法设计具有较强的可复现性，未来可在更多自由生成任务（如对话、创意写作）中进一步探索。

1. Reward Modeling for Language Generation: Challenges and Opportunities 2. Scalable Reinforcement Learning from Human Feedback (RLHF) 3. Automatic Evaluation of Text Generation with Dynamic Metrics 4. Self-Improvement through Large Language Model Critics 5. Adversarial Training for Improving Factuality in Abstractive Summarization