【标题】When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning

【作者团队】Annie Xie, Fahim Tajwar, Archit Sharma, Chelsea Finn

【发表日期】2022.10.19

【论文链接】https://arxiv.org/pdf/2210.10765.pdf

【推荐理由】强化学习的一个长期目标是设计可以在世界上自主交互和学习的智能体。这种自主性的一个关键挑战是存在需要外部帮助才能恢复的不可逆状态，例如当机器人手臂将物体从桌子上推下时。虽然标准智能体需要持续监控来决定何时进行干预，但本文的目标是设计能够仅在需要时请求人工干预的主动智能体。为此，本文研究者提出了一种算法，该算法可以有效地学习检测和避免不可逆状态，并在智能体进入这些状态时主动寻求帮助。在一组具有未知不可逆状态的连续控制环境中，实验发现与现有方法相比，文中提出的算法表现出更好的样本和干预效率。