Horizon Reduction Makes RL Scalable

在这项工作中，我们研究了离线强化学习（RL）算法的可扩展性。原则上，一个真正可扩展的离线RL算法应能够在给定足够数据、计算资源和模型容量的情况下，解决任何复杂程度的问题。我们通过使用比典型离线RL数据集大1000倍的数据集，在多样化的、具有挑战性的、尚未解决的任务中，探究当前离线RL算法是否以及如何实现这一承诺。我们观察到，尽管数据量增加，许多现有的离线RL算法仍然表现出较差的扩展行为，其性能远低于最大可能水平。我们推测时间范围（horizon）是导致离线RL扩展性不佳的主要原因。通过几组分析实验，我们从经验上验证了这一假设，结果表明较长的时间范围确实构成了离线RL扩展的主要障碍。随后，我们展示了多种缩短时间范围的技术可以显著提高在困难任务上的可扩展性。基于我们的研究发现，我们还提出了一种简单但可扩展的方法，称为SHARSA，该方法能够有效减少时间范围。SHARSA在我们的评估方法中展现出最佳的渐近性能和扩展行为，证明了显式减少时间范围能够释放离线RL的可扩展潜力。代码：https://github.com/seohongpark/horizon-reduction

本论文研究了离线强化学习（RL）算法的可扩展性问题，试图验证当前的离线RL算法是否能够在复杂任务上达到理论上的最佳性能，尤其是在面对大规模数据集和长时域任务时。这是一个重要但尚未完全解决的问题。

论文的关键思路是将任务的‘时域长度’（horizon）视为限制离线RL算法可扩展性的主要瓶颈，并提出通过减少时域长度来提升算法的表现。为此，作者引入了一种名为SHARSA的简化方法，该方法通过显式地降低时域长度显著提高了离线RL在挑战性任务中的可扩展性和最终性能。

1. 论文使用了比典型离线RL数据集大1000倍的数据集进行实验，展示了现有算法的局限性。 2. 提出了SHARSA方法，其在测试中表现出最佳的渐近性能和扩展行为。 3. 开源了代码（https://github.com/seohongpark/horizon-reduction），为后续研究提供了基础。 4. 实验设计包括对多种时域缩减技术的比较分析，验证了时域长度确实是影响离线RL扩展性的关键因素。

近期相关研究包括： 1. 'Batch-Constrained Q-Learning' - 探讨了如何通过约束策略改进离线RL性能。 2. 'Conservative Q-Learning for Offline Reinforcement Learning' - 提出了一种保守策略优化方法。 3. 'MPO with Behavior Regularization' - 研究了基于模型的离线RL方法。 4. 'Reward Constrained Model-based Offline RL' - 结合奖励约束和模型预测来改善离线RL效果。 这些研究大多关注算法稳定性或数据效率，而本文则聚焦于时域长度对扩展性的影响，提出了新的解决方向。