DEER: A Delay-Resilient Framework for Reinforcement Learning with Variable Delays

经典的强化学习（RL）经常在涉及延迟的任务中遇到挑战，这会导致接收到的观察值和随后的动作之间存在不匹配，从而偏离马尔可夫假设。现有方法通常使用状态增强的端到端解决方案来解决这个问题。然而，这些黑盒方法通常涉及不可理解的过程和信息状态中的冗余信息，从而导致不稳定性并潜在地削弱整体性能。为了缓解RL中的延迟挑战，我们提出了$\textbf{DEER（Delay-resilient Encoder-Enhanced RL）}$，这是一个旨在有效增强可解释性并解决随机延迟问题的框架。DEER使用一个预训练的编码器将延迟状态和由不同延迟导致的可变长度过去动作序列映射到隐藏状态中，该编码器是在无延迟环境数据集上训练的。在各种延迟情况下，经过训练的编码器可以与标准RL算法无缝集成，而不需要额外的修改，并通过简单地调整原始算法的输入维度来增强延迟解决能力。我们通过对Gym和Mujoco环境的广泛实验来评估DEER。结果证实，在恒定和随机延迟设置下，DEER优于最先进的RL算法。

解决延迟问题的强化学习算法

使用预训练的编码器将延迟状态映射到隐藏状态，以增强强化学习算法的延迟处理能力

DEER算法通过预训练的编码器将延迟状态映射到隐藏状态，从而提高了强化学习算法的延迟处理能力，同时保持了可解释性。在Gym和Mujoco环境中的实验结果表明，DEER算法在常数延迟和随机延迟设置下均优于当前最先进的强化学习算法。

近期的相关研究包括：\n1. 'Delay-RL: Incorporating Time Delay into Deep Reinforcement Learning'\n2. 'Reinforcement Learning with Unsupervised Auxiliary Tasks'\n3. 'Learning to Predict Without Looking Ahead: World Models Without Forward Prediction'