Checklists Are Better Than Reward Models For Aligning Language Models

为了拓宽强化学习在激发语言模型遵循指令方面的影响，我们提出采用灵活的、针对具体指令的评估标准，而不是通常使用的固定标准（如“有用性”和“有害性”）。我们提出了“基于清单反馈的强化学习”（RLCF）方法。我们从指令中提取清单，并评估模型回复满足每一项清单的程度——这一过程既使用AI评分器，也使用专门的验证程序来完成，然后将这些评分结合起来，用于计算强化学习的奖励信号。我们将RLCF与其他对齐方法进行了对比实验，所用的基础模型是一个强大的指令跟随模型（Qwen2.5-7B-Instruct），测试基准为五个广泛研究的数据集。结果显示，RLCF是唯一一个在所有基准测试中都能提升性能的方法，其中包括在FollowBench上的硬性满足率提升了4个百分点，在InFoBench上提升了6个百分点，在Arena-Hard中的胜率提高了3个百分点。这些结果表明，清单反馈已成为提升语言模型支持多样化用户查询能力的关键工具。

论文试图解决语言模型在遵循用户指令方面的不足，特别是在复杂和多样化的查询需求下如何更有效地进行强化学习。这个问题是一个持续受到关注的研究领域，但使用灵活的、指令特定的标准进行强化学习是一个较新的方向。

论文提出了一种名为“Reinforcement Learning from Checklist Feedback”（RLCF）的新方法，通过从指令中提取检查清单，并评估响应是否满足每个检查项，结合AI评判和专用验证程序，生成奖励信号用于强化学习。相比传统使用固定标准（如“有帮助性”和“有害性”）的方法，这种方法更具灵活性和针对性。

1. RLCF在多个基准测试中显著提升了模型的性能，包括在FollowBench上的硬满足率提升了4个百分点，在InFoBench上提升了6个百分点，在Arena-Hard上的胜率提升了3个百分点。 2. 实验设计结合了AI评判和专用验证程序，以生成更精确的奖励信号。 3. 论文使用了Qwen2.5-7B-Instruct模型进行实验，表明该方法适用于强大的指令跟随模型。 4. 未来的研究方向可以包括如何自动化检查清单的生成，以及如何在更大规模的模型上应用RLCF。

1. Reinforcement Learning from Human Feedback (RLHF) 2. Learning to Follow Instructions in Complex Tasks (InstructGPT) 3. Improving Language Model Prompt Comprehension with Structured Feedback 4. Fine-tuning Language Models with Task-Specific Reward Signals