State-Constrained Offline Reinforcement Learning

传统的离线强化学习方法主要在批次受限的环境下运作。这限制了算法只能在数据集中存在的特定状态-动作分布中运作，降低了分布偏移的影响，但也大大限制了算法的应用范围。本文通过引入一种名为“状态受限离线强化学习”的新框架，缓解了这种限制。通过专门关注数据集的状态分布，我们的框架显著增强了学习能力，并减少了以前的限制。所提出的设置不仅拓宽了学习范围，还提高了有效地结合数据集中不同轨迹的能力，这是离线强化学习中固有的理想特性。我们的研究基于坚实的理论发现，为该领域的后续进展铺平了道路。此外，我们介绍了StaCQ，这是一种深度学习算法，既在D4RL基准数据集上具有良好的性能，又与我们的理论命题密切相关。StaCQ为后续探索状态受限离线强化学习奠定了坚实的基础。

本文旨在解决传统离线强化学习方法在批量约束设置下的局限性，提出了一种名为“状态约束”的离线强化学习框架，通过专注于数据集的状态分布来显著增强学习潜力和降低以前的限制。

本文提出了一种新的离线强化学习框架——状态约束离线强化学习，通过仅关注数据集的状态分布，扩大了学习视野，同时提高了有效地组合数据集中不同轨迹的能力。

本文提出了一种新的离线强化学习框架，并介绍了StaCQ算法，它在D4RL基准数据集上表现出色，同时与理论命题密切相关。实验设计合理，使用了公开数据集，并开源了代码。这篇论文为该领域的后续研究奠定了坚实的理论基础。

在这个领域中，最近的相关研究包括：Offline Reinforcement Learning: Tutorial, Review, and Perspectives，Benchmarking Offline Reinforcement Learning Algorithms with D4RL，MOReL: Model-Based Offline Reinforcement Learning。