Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization

强化学习（RL）在将大型语言模型（LLMs）与人类偏好对齐以及提高它们执行复杂任务的能力方面起着至关重要的作用。然而，当前的方法要么由于使用多个模型和广泛的在线采样进行训练而需要大量的计算资源（例如PPO），要么被构建为赌博问题（例如DPO，DRO），这些方法往往难以处理多步推理任务，例如数学问题解决和涉及长时间思考的复杂推理。为了克服这些限制，我们介绍了直接Q函数优化（DQO），它将响应生成过程构造为马尔可夫决策过程（MDP），并利用软演员-评论家（SAC）框架直接优化由语言模型参数化的Q函数。 DQO的MDP公式比基于赌博的方法具有结构上的优势，可以更有效地进行过程监督。在两个数学问题解决数据集GSM8K和MATH上的实验结果表明，DQO优于先前的方法，将其确立为一种有前途的离线强化学习方法，用于对齐语言模型。

论文试图通过Direct Q-function Optimization (DQO)方法解决当前在线强化学习方法在多步推理任务上的计算资源消耗和效率问题，从而提高大型语言模型的性能。

DQO将回答生成过程视为马尔可夫决策过程(MDP)，并利用软演员评论家(SAC)框架直接优化由语言模型参数化的Q函数。与基于赌博机的方法相比，DQO的MDP形式提供了结构上的优势，使得过程监督更加有效。

论文在两个数学问题解决数据集GSM8K和MATH上进行了实验，证明DQO优于之前的方法，是一个有前途的离线强化学习方法，可用于提高语言模型的性能。

当前的相关研究主要集中在在线强化学习方法的改进上，例如PPO和DPO等。