Conservative DDPG -- Pessimistic RL without Ensemble

DDPG存在过度估计偏差问题，其$Q$估计往往会夸大实际$Q$值。传统解决这种偏差的方法包括基于集成的方法，需要大量的计算资源，或者基于复杂日志策略的方法，难以理解和实现。相比之下，我们提出了一个简单的解决方案，使用$Q$目标并结合行为克隆（BC）损失惩罚。这个解决方案作为一个不确定性度量，可以很容易地用最少的代码实现，而不需要集成。我们的实证发现强烈支持保守DDPG在各种MuJoCo和Bullet任务中优于DDPG。我们在所有评估任务中一致观察到更好的性能，甚至与TD3和TD7相比具有竞争力或更高的性能，所有这些都是在显著降低的计算要求下实现的。

解决问题：本论文旨在解决DDPG算法中的过度估计偏差问题，提出了一种简单的解决方案。

关键思路：本论文提出了一种使用Q-Target和行为克隆损失惩罚的保守DDPG算法，作为一种不确定性度量，可以轻松实现，无需使用集成模型，并且在各种MuJoCo和Bullet任务中表现出更好的性能。

其他亮点：论文的实验设计严谨，使用了多个数据集进行测试，并且提供了开源代码。此外，保守DDPG算法不仅在性能上表现出色，而且计算资源需求较低。值得深入研究。

相关研究：在这个领域中，最近的相关研究包括TD3和TD7算法。