Revisiting Sparse Rewards for Goal-Reaching Reinforcement Learning

许多现实中的机器人学习问题，例如拾取和放置或到达目的地，可以看作是尽快达到目标状态的问题。当这些问题被制定为情节强化学习任务时，可以很容易地指定为与我们预期目标相符的最小时间任务：每个时间步骤的-1奖励，到达目标状态时终止。尽管这种简单性，但这些制定经常被忽视，而更喜欢密集的奖励，因为它们被认为难以实现且缺乏信息性。我们的研究对比了这两种奖励范例，揭示了最小时间任务规范不仅有助于学习高质量的策略，而且还可以在自己的性能指标上超越基于密集奖励的策略。至关重要的是，我们还确定了初始策略的目标达成率是这种稀疏反馈设置下学习成功的稳健早期指标。最后，我们使用四个不同的真实机器人平台展示了使用恒定负奖励可以在两到三个小时内从头开始学习基于像素的策略的可能性。

论文试图解决在稀疏奖励反馈下，如何实现机器人快速到达目标状态的问题，并验证最短时间任务奖励范式的有效性。

论文提出使用最短时间任务奖励范式来解决机器人学习问题，该范式可以有效地促进高质量策略的学习，并且可以在性能指标上超过密集奖励范式。

论文使用四个真实机器人平台进行实验，证明了使用常数负奖励可以从头开始学习基于像素的策略，并在2-3小时内取得良好的效果；论文还发现，初始策略的目标命中率是稀疏反馈学习成功的稳健早期指标。

相关研究包括使用稀疏奖励进行机器人学习，以及使用不同的奖励范式来进行强化学习。例如，论文提到了“Sparse and Dense Data with Generative Adversarial Networks for Robot Manipulation”和“Deep Reinforcement Learning with Double Q-learning”等论文。