ShiQ: Bringing back Bellman to LLMs

使用强化学习（RL）对预训练大型语言模型（LLMs）进行微调，通常被表述为直接策略优化。这种方法自然受到青睐，因为它能高效地改进一个被视为初始策略的预训练LLM。相比之下，另一种RL范式——Q学习方法，在LLM社区中得到的关注较少，尽管它在各种非LLM的RL任务中取得了显著的成功。特别地，Q学习的有效性源于其样本效率和离线学习能力，这在考虑到使用LLM采样的高计算成本时尤为重要。然而，简单地将Q学习风格的更新应用于模型的logits是无效的，这是因为LLM的独特特性。我们的核心贡献在于从贝尔曼方程出发，推导出理论基础扎实的损失函数，以将Q学习方法适配到LLM上。为此，我们仔细借鉴了RL文献中的见解，考虑了LLM特有的特性，确保logits能够成为可靠的Q值估计。随后，我们利用这一损失函数构建了一个实用算法——ShiQ（Shifted-Q），该算法支持离策略、逐标记（token-wise）学习，同时保持实现的简单性。最后，我们在合成数据和真实世界基准（例如UltraFeedback和BFCL-V3）上评估了ShiQ，展示了其在单轮和多轮LLM设置中的有效性。

该论文试图解决如何将Q-learning方法有效应用于大型语言模型（LLMs）的微调问题。这是因为在当前RL范式中，直接策略优化被广泛采用，而Q-learning在LLM领域的应用较少。尽管Q-learning具有样本效率高和离线学习能力强的优点，但直接将其应用于LLM的logits更新是无效的。因此，这是一个相对新颖的问题，旨在填补Q-learning在LLM领域中的空白。

论文的核心思路是通过从Bellman方程推导出理论上可靠的损失函数，使Q-learning能够适应LLM的特点。具体来说，作者提出了ShiQ（Shifted-Q）算法，这是一种支持离线、逐token学习的简单实现方案。与现有方法相比，ShiQ的关键新意在于它解决了传统Q-learning无法直接应用于LLM的挑战，并确保了logits可以作为可靠的Q值估计。

论文设计了针对合成数据和真实世界基准（如UltraFeedback和BFCL-V3）的实验，验证了ShiQ在单轮和多轮对话场景中的有效性。此外，ShiQ支持离线学习，这对于计算成本高昂的LLM尤为重要。虽然论文未明确提及代码开源情况，但其实验设计和算法简洁性为未来研究提供了良好的基础。值得进一步探索的方向包括：1）扩展到更复杂的多模态任务；2）结合其他RL技术以提高性能；3）评估更大规模LLM上的表现。

近期相关研究包括：1）“Fine-Tuning Language Models from Human Preferences”，探讨了基于人类反馈的强化学习方法；2）“Reward Modeling for Dialogue Systems”，专注于对话系统的奖励建模；3）“Offline Reinforcement Learning with Large Pretrained Models”，研究了离线强化学习在大规模预训练模型中的应用。这些工作主要集中在直接策略优化或特定任务的奖励设计上，而本论文则首次系统性地尝试将Q-learning引入LLM领域。