ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization

奖励塑形是强化学习（RL）中的一个关键组成部分，特别是在处理稀疏奖励可能阻碍学习的复杂任务时。虽然引入了塑形奖励以提供额外的指导，但选择有效的塑形函数仍然具有挑战性且计算成本高昂。本文介绍了一种新的方法——在线奖励选择与策略优化（ORSO），该方法将塑形奖励的选择问题框架化为在线模型选择问题。ORSO采用有原则的探索策略，自动识别有前途的塑形奖励函数，无需人工干预，并在可证明的遗憾保证下平衡探索与利用。我们使用Isaac Gym模拟器在各种连续控制任务中展示了ORSO的有效性。与传统方法相比，这些传统方法需要完全评估每个塑形奖励函数，ORSO显著提高了样本效率，减少了计算时间，并且能够一致地识别出高质量的奖励函数，生成的策略与领域专家通过手工设计的奖励生成的策略相当。

该论文旨在解决强化学习中复杂任务由于稀疏奖励而导致的学习困难问题。这是一个长期存在的挑战，特别是在连续控制任务中。

论文提出了一种名为Online Reward Selection and Policy Optimization (ORSO)的新方法，将奖励塑形函数的选择问题转化为在线模型选择问题。ORSO通过 principled exploration 策略自动识别有潜力的奖励塑形函数，无需人工干预，并且在探索和利用之间提供了可证明的遗憾保证。这一方法在现有研究基础上，提供了一种更高效、自动化的方法来选择奖励塑形函数。

论文通过在Isaac Gym模拟器上的一系列连续控制任务中验证了ORSO的有效性。实验结果显示，与传统方法相比，ORSO显著提高了样本效率，减少了计算时间，并且能够一致地识别出高质量的奖励函数，生成的策略性能与领域专家手工设计的奖励函数相当。此外，论文提供了开源代码，方便其他研究人员复现和进一步研究。

近期在这个领域的一些相关研究包括： 1. "Automated Reward Design for Reinforcement Learning" - 探索自动化设计奖励函数的方法。 2. "Meta-Learning Reward Functions for Reinforcement Learning" - 使用元学习技术来优化奖励函数的设计。 3. "Hierarchical Reward Shaping for Deep Reinforcement Learning" - 提出层次化奖励塑形方法以提高学习效率。 4. "Adaptive Reward Shaping for Deep Reinforcement Learning" - 通过自适应方法动态调整奖励函数以加速学习过程。