Rectifying Reinforcement Learning for Reward Matching

本文介绍了一种名为GFlowNet的生成流网络，它是一个概率框架，其中代理学习了随机策略和流函数，以便以与非标准化奖励函数成比例的概率抽样对象。由于它们的顺序决策过程，GFlowNet与通常旨在最大化奖励的强化学习（RL）非常相似。最近的研究探讨了GFlowNet与最大熵（MaxEnt）RL之间的联系，后者通过学习熵正则化目标来修改RL代理的标准目标。然而，一个重要的理论差距仍然存在：尽管它们在顺序决策性质上显然相似，但GFlowNets和标准RL之间的直接联系尚未被发现，而弥合这一差距可以进一步释放两个领域的潜力。在本文中，我们建立了GFlowNets和均匀策略的策略评估之间的新联系。令人惊讶的是，我们发现均匀策略的结果值函数与GFlowNets中的流具有密切关系。利用这些见解，我们进一步提出了一种新颖的修正策略评估（RPE）算法，它实现了与GFlowNets相同的奖励匹配效果，提供了新的视角。我们在许多基准测试中比较了RPE、MaxEnt RL和GFlowNets，并表明RPE与先前方法相比取得了竞争性的结果。本文揭示了（非MaxEnt）RL和GFlowNets之间以前未被探索的联系，可能为两个领域未来的研究开辟新途径。

论文旨在探索GFlowNets和标准强化学习之间的联系，以及提出一种新的策略评估算法，以实现与GFlowNets相同的奖励匹配效果。

论文建立了GFlowNets和均匀策略的策略评估之间的联系，并发现均匀策略的值函数与GFlowNets中的流之间存在密切关系。在此基础上，提出了一种新的策略评估算法RPE。

论文比较了RPE、MaxEnt RL和GFlowNets在多个基准测试中的表现，并展示了RPE相对于之前的方法具有竞争性的结果。同时，论文还探索了GFlowNets和MaxEnt RL之间的联系，并提出了一种新的算法来弥补它们之间的差距。

在最近的相关研究中，有一些与GFlowNets和强化学习相关的论文，如《Generative Flow Networks: A New Kind of ML for Novelty Detection》和《Maximum Entropy Deep Inverse Reinforcement Learning》。