Value-Based Deep RL Scales Predictably

扩展数据和计算能力对于机器学习的成功至关重要。然而，扩展需要可预测性：我们希望方法不仅在拥有更多计算资源或数据时表现良好，而且其性能可以从小型实验中预测出来，而无需进行大规模实验。在这篇文章中，我们展示了基于价值的离线强化学习（RL）方法是可预测的，尽管社区普遍认为它们的行为存在病态问题。首先，我们证明了达到给定性能水平所需的数据和计算资源位于一个由更新到数据（UTD）比率控制的帕累托前沿上。通过估计这一前沿，我们可以预测在获得更多计算资源时的数据需求，以及在获得更多数据时的计算需求。其次，我们确定了在给定性能下如何最优地将总资源预算分配给数据和计算，并用此来确定最大化特定预算性能的超参数。第三，这种扩展行为是通过首先估计超参数之间的可预测关系来实现的，这用于管理过拟合和塑性损失等强化学习特有的效应。我们使用三种算法（SAC、BRO 和 PQL）在 DeepMind Control、OpenAI Gym 和 IsaacGym 上验证了我们的方法，当外推到更高的数据量、计算能力、预算或性能水平时。

该论文旨在解决强化学习（RL）领域中关于价值导向的离线策略方法在扩大数据和计算资源时的可预测性问题。尽管社区普遍认为这些方法行为不稳定，但作者试图证明其性能可以从小规模实验中预测，并且可以通过调整数据与计算的比例来优化性能。

关键思路是通过引入更新到数据（UTD）比率的概念，展示数据和计算需求与性能之间的关系位于一个帕累托前沿上。这使得研究者能够根据小规模实验的结果预测大规模实验的表现。此外，论文提出了一种方法来确定给定预算下数据和计算的最佳分配，以最大化性能。这一思路的新颖之处在于它为RL方法提供了更稳定的扩展路径，挑战了传统观念。

论文的亮点包括：1) 通过三个算法（SAC, BRO, PQL）在多个环境（DeepMind Control、OpenAI Gym、IsaacGym）上的实验证明了其理论的有效性；2) 提出了管理过拟合和塑性损失的方法，这是RL特有的挑战；3) 开源代码和详细的数据集使用增强了研究的可重复性和透明度。未来值得深入研究的方向包括探索更多类型的RL算法以及不同领域的应用。

最近的相关研究包括《Understanding the Impact of Reward Sparsity in Reinforcement Learning》和《On the Generalization of Representations in Reinforcement Learning》等论文，它们探讨了奖励稀疏性和表示泛化对RL的影响。另外，《A Survey on Off-Policy Evaluation and Learning》综述了离线策略评估和学习的最新进展。