Variational Delayed Policy Optimization

在延迟观察的环境中，通过在延迟窗口内包含动作来增强状态，以检索马尔可夫性质，从而实现强化学习（RL）。然而，采用时间差分（TD）学习框架的最先进的RL技术通常由于延迟导致增加了增强状态空间，从而导致学习效率低下。为了在不牺牲性能的情况下提高学习效率，本文引入了一种名为变分延迟策略优化（VDPO）的新框架，将延迟RL重新制定为变分推理问题。这个问题被进一步建模为一个两步迭代优化问题，其中第一步是在没有延迟的环境中进行TD学习，其状态空间很小，第二步是行为克隆，这比TD学习更容易解决。我们不仅从样本复杂度和性能方面提供了VDPO的理论分析，而且还在MuJoCo基准测试中经验证明，VDPO可以实现与SOTA方法一致的性能，并且样本效率显著提高（样本量减少约50％）。

论文旨在提高延迟观察环境下强化学习的效率，同时不降低性能。延迟环境下，状态增强需要考虑动作，这会导致状态空间的显著扩展，从而影响学习效率。

论文提出了一个名为Variational Delayed Policy Optimization (VDPO)的框架，将延迟强化学习重新构建为一个变分推断问题，并将其建模为一个两步迭代优化问题。第一步是在无延迟状态空间下进行TD学习，第二步是行为克隆，比TD学习更有效。这种方法可以提高学习效率，而不会影响性能。

论文提供了VDPO的理论分析，包括样本复杂度和性能。在MuJoCo基准测试中，实验结果表明VDPO可以与SOTA方法实现一致的性能，并显著提高了样本效率（约50％的样本量减少）。

与此相关的研究包括：Model-Based Reinforcement Learning via Variational Inference、Variational Policy Optimization with Demographic-Based State Aggregation、和Variational Inference for Monte Carlo Objectives。