Flow Q-Learning

我们提出了流量Q学习（FQL），这是一种简单且性能优良的离线强化学习（RL）方法，它利用表达力强的流量匹配策略来模拟数据中任意复杂的动作分布。训练带有RL的流量策略是一个棘手的问题，这是由于动作生成过程的迭代性质。我们通过训练一个表达力强的单步策略来应对这一挑战，而不是直接引导迭代的流量策略以最大化价值。这样，我们可以完全避免不稳定的递归反向传播，消除测试时昂贵的迭代动作生成，同时仍然大部分保持表达能力。实验结果表明，FQL在73个具有挑战性的基于状态和像素的OGBench和D4RL任务中，在离线RL和从离线到在线RL中表现出强大的性能。项目页面：https://seohong.me/projects/fql/

该论文试图解决离线强化学习（offline RL）中的复杂动作分布建模问题，特别是如何在不直接引导迭代流策略最大化值的情况下训练一个表达能力强的一步策略。这是一个具有一定挑战性的问题，尤其是在处理高维和复杂环境时。

关键思路是通过使用流匹配政策（flow-matching policy）来建模任意复杂的动作分布，而不是直接训练迭代的流政策。FQL方法训练一个表达力强的一步政策，避免了不稳定的递归反向传播，并消除了测试时昂贵的迭代动作生成过程，同时大部分保留了表达力。这种方法为离线RL提供了一个新颖且高效的解决方案。

论文展示了FQL在73个具有挑战性的OGBench和D4RL任务上的强大性能，涵盖了基于状态和像素的任务。此外，项目页面提供了更多详细信息，包括实验结果和实现细节。代码已开源，方便其他研究人员复现和进一步研究。未来可以深入研究如何将此方法应用于更广泛的领域或改进其效率。

最近在这个领域中，还有其他相关的研究，例如： 1. 'Batch-Constrained Deep Q-learning for Multi-task Reinforcement Learning' 2. 'MOPO: Model-based Offline Policy Optimization' 3. 'PlaNet of the Bayesians: Probabilistic Planning with Latent Dynamics Models' 这些研究同样关注于提高离线RL的性能和适用性。