BOND: Aligning LLMs with Best-of-N Distillation

本文介绍了一种新的强化学习算法，称为Best-of-N Distillation（BOND），它可以在不增加推理时间计算负担的情况下，模拟Best-of-N抽样策略的效果。Best-of-N抽样策略是在N个候选生成文本中选择最佳的一项，是一种简单而有效的推理策略。具体而言，BOND是一种分布匹配算法，它通过强制生成策略的分布接近Best-of-N分布来实现。作者使用Jeffreys散度来平衡覆盖模式和寻找模式之间的关系，并推导出一种迭代公式，利用移动锚点提高效率。作者在抽象摘要和Gemma模型上进行了实验，并证明了他们的方法和设计选择的有效性。通过将Gemma策略与BOND对齐，可以在多个基准测试上改善结果，优于其他RLHF算法。

本论文旨在提出一种新的强化学习算法Best-of-N Distillation (BOND)，以解决在大型语言模型中使用Best-of-N采样的高计算成本问题。

BOND是一种分布匹配算法，通过迫使策略生成的分布接近Best-of-N分布来实现。使用Jeffreys散度平衡模式覆盖和模式寻找行为，并提出一种迭代公式以提高效率。

论文通过在摘要生成和Gemma模型上的实验，证明了BOND算法的有效性和多种设计选择。该算法的性能优于其他强化学习算法，并在多个基准测试上取得了更好的结果。

最近的相关研究包括： 1. Learning to learn by gradient descent by gradient descent 2. Learning to reinforcement learn 3. Proximal policy optimization algorithms 4. Trust region policy optimization 5. Deep reinforcement learning with double Q-learning