RICE: Breaking Through the Training Bottlenecks of Reinforcement Learning with Explanation

深度强化学习（DRL）在实际应用中扮演着越来越重要的角色。然而，对于复杂任务，特别是在奖励稀疏的情况下，获得一个表现最佳的DRL代理仍然是一个重要的挑战。DRL代理的训练往往会陷入瓶颈而无法进一步提升。本文提出了一种创新的强化学习精炼方案RICE，该方案结合了解释方法以突破训练瓶颈。RICE的高层次思想是构建一个新的初始状态分布，将默认初始状态和通过解释方法确定的关键状态相结合，从而鼓励代理从混合的初始状态进行探索。通过精心的设计，我们可以在理论上保证我们的精炼方案具有更紧密的次优性界限。我们在各种流行的RL环境和实际应用中评估了RICE。结果表明，RICE在提高代理性能方面显著优于现有的精炼方案。

解决问题：该论文旨在解决深度强化学习中的训练瓶颈问题，特别是在稀疏奖励任务中，提出了一种新的优化方案。

关键思路：该论文提出了一种名为RICE的优化方案，它结合了默认的初始状态和通过解释方法确定的关键状态，构建了一个新的初始状态分布，从而鼓励代理从混合的初始状态进行探索。通过精心设计，理论上保证了该优化方案具有更紧密的次优性界限。

其他亮点：该论文在各种流行的RL环境和实际应用中评估了RICE，并证明其在提高代理性能方面显著优于现有的优化方案。

相关研究：最近相关研究包括“Trust Region Policy Optimization”和“Proximal Policy Optimization”等。