Transductive Off-policy Proximal Policy Optimization

Proximal Policy Optimization (PPO) 是一种流行的无模型强化学习算法，因其简单和有效而备受推崇。然而，由于其内在的在线策略性质，其利用来自不同策略的数据的能力受到限制。本文介绍了一种新颖的离线策略扩展方法，称为传导离线策略 PPO（ToPPO）。在此，我们提供了理论上的证明，证明了将离线策略数据纳入PPO训练的可行性，并给出了其安全应用的谨慎指南。我们的贡献包括对由离线策略数据得出的潜在策略的策略改进下限的新颖公式，以及一个计算效率高的机制来优化此下限，并保证单调改进。在六个代表性任务上的全面实验结果强调了ToPPO的优异表现。

本论文旨在解决PPO算法的on-policy限制，提出了一种off-policy扩展的方法ToPPO，以提高数据利用效率。

ToPPO方法通过引入off-policy数据，重新定义策略改进下界，并提出了一种有效的优化方法，以实现对离散策略的训练。

论文提出的ToPPO方法在六个代表性任务上进行了全面的实验，证明了其性能的优越性。此外，论文提供了安全应用ToPPO的准则，但未开源代码。

近期的相关研究包括：Deep Deterministic Policy Gradient (DDPG)，Trust Region Policy Optimization (TRPO)，以及Soft Actor-Critic (SAC)等。