Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation

在复杂环境中高效地处理多个任务，例如机器人操作，仍然是机器人技术中的一个持续挑战和数据驱动解决方案的机会，例如强化学习（RL）。模型基RL通过构建机器人的动态模型，实现了数据重用和任务之间的迁移学习，使得在相同机器人和类似环境下的任务之间更加高效。此外，机器人中的数据收集是昂贵的，我们必须依靠数据高效的方法，例如模型基RL，其中策略学习主要在基于学习模型的更便宜的模拟上进行。因此，模型的质量对于后续任务的性能至关重要。在本研究中，我们专注于通过在初步探索阶段基于最大化信息收集进行动态模型的主动学习，从而提高模型的质量并保持数据效率。我们采用贝叶斯神经网络模型以概率的方式表示动态模型中的信念和信息，并使用我们提出的策略来积极估计每个转换的新颖性，将其作为探索奖励。在本研究中，我们比较了几种贝叶斯推理方法用于神经网络，其中一些方法从未在机器人领域使用过，并在一个实际的机器人操作设置中进行了评估。我们的实验表明，我们的贝叶斯模型基RL方法具有优势，与相关替代方案相比，结果质量相似，但机器人执行步骤要求更低。与以前的研究仅关注玩具问题的验证不同，我们的研究朝着更加现实的设置迈出了一步，处理机器人臂末端任务。

本文旨在通过主动学习动态模型来提高机器人操作的效率，并在机器人操作中应用贝叶斯神经网络模型。

本文采用主动学习的方式在机器人操作中应用贝叶斯神经网络模型，通过对模型进行贝叶斯推断来提高机器人操作的效率。

本文的贡献在于提出了一种新的机器人操作方法，该方法使用主动学习的方式来提高机器人操作的效率，并在贝叶斯神经网络模型上进行了实验验证。实验结果表明，该方法的效果优于其他相关方法。

在最近的研究中，也有一些关于机器人操作的主动学习方法，如《Active Learning of Robot Dynamics Models with Bayesian Nonparametrics》和《Active Learning for Control with Unknown Dynamics Using Gaussian Processes》等。