Offline Reinforcement Learning with Discrete Diffusion Skills

技能已被引入离线强化学习（RL），作为时间抽象的概念，用以解决复杂、长时域的任务，促进一致的行为并实现有意义的探索。尽管离线强化学习中的技能主要建模在连续的潜在空间中，但离散技能空间的潜力仍未被充分挖掘。在本文中，我们提出了一种紧凑的离散技能空间，适用于离线强化学习任务，并由最先进的基于Transformer的编码器和基于扩散模型的解码器支持。结合通过离线强化学习技术训练的高层策略，我们的方法构建了一个分层强化学习框架，其中训练好的扩散解码器起到了关键作用。实证评估表明，所提出的算法——离散扩散技能（DDS）——是一种强大的离线强化学习方法。DDS在运动控制（Locomotion）和厨房（Kitchen）任务中表现出竞争力，并在长时域任务中表现优异，在AntMaze-v2基准测试中相比现有的离线强化学习方法至少提升了12%。此外，与之前的基于技能的方法相比，DDS在可解释性、训练稳定性以及在线探索能力方面均有显著提升。

论文试图解决在离线强化学习（offline RL）中处理复杂、长时域任务的挑战。具体来说，它探讨了如何通过引入技能（skills）作为时间抽象来改善行为的一致性和探索的有效性。虽然连续隐空间中的技能建模已受到广泛关注，但离散技能空间的潜力尚未被充分挖掘。

该论文提出了一种基于紧凑离散技能空间的方法，结合最先进的Transformer编码器和扩散模型解码器，构建了一个分层强化学习框架。与传统的连续技能空间不同，该方法利用离散技能表示，并通过一个高层策略（由离线RL技术训练）指导低层技能执行。这种方法不仅能够有效应对长时域任务，还提高了可解释性和训练稳定性。

1. DDS算法在Locomotion和Kitchen任务中表现优异，在AntMaze-v2基准上较现有方法至少提升了12%。 2. 离散技能空间的设计增强了模型的可解释性，同时提供了更稳定的训练过程。 3. 扩散模型解码器在技能生成中起到了关键作用，证明了其在离线RL中的潜力。 4. 论文提到实验设计涵盖了多种复杂环境，数据集包括但不限于AntMaze-v2。目前尚不清楚代码是否开源，但未来可以关注作者团队的进一步更新。 5. 值得深入研究的方向包括：离散技能空间在其他领域（如多智能体系统）的应用，以及如何进一步优化扩散模型以适应更大规模的任务。

最近的相关研究包括： 1. "DisCo: Skills First, Then Goals" - 探讨了目标导向的技能学习。 2. "PlaNET: Planning with Latent Dynamics for Episodic Exploration" - 利用潜在动力学模型进行探索。 3. "Diffusion Policies for Offline Reinforcement Learning" - 将扩散模型应用于离线RL。 4. "Hierarchical Reinforcement Learning with Continuous Sub-Policies" - 关注连续子策略的层次化RL。 这些研究共同推动了离线RL和技能学习的发展，而本论文的独特之处在于对离散技能空间的探索及其与扩散模型的结合。