RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

让机器人手具备人类级别的灵巧度一直是一个长期的研究目标。双手机器人演奏钢琴是一项任务，它结合了动态任务的挑战，例如在快速而精确的动作中生成动力，以及较慢但接触丰富的操作问题。虽然基于强化学习的方法在单任务表现方面表现出了有希望的结果，但这些方法在多曲目设置中表现不佳。我们的工作旨在弥合这一差距，从而实现规模化的机器人钢琴演奏的模仿学习方法。为此，我们引入了Robot Piano 1 Million (RP1M)数据集，其中包含超过一百万个轨迹的双手机器人钢琴演奏运动数据。我们将手指放置形式化为一个最优传输问题，从而实现大量未标记歌曲的自动注释。基准现有的模仿学习方法表明，这些方法通过利用RP1M达到了最先进的机器人钢琴演奏表现水平。

如何让机器人手臂具备人类级别的灵活性，以完成钢琴演奏等复杂任务？

通过引入Robot Piano 1 Million (RP1M)数据集，将指位放置问题转化为最优运输问题，从而实现对大量未标记歌曲的自动注释，提高机器人钢琴演奏的模仿学习效果

论文提出的RP1M数据集包含超过一百万个轨迹，使用最优运输问题实现自动注释，提高了机器人钢琴演奏的模仿学习效果，实验结果表明该方法达到了目前最先进的水平

最近的相关研究包括基于强化学习的单任务学习方法，但在多歌曲设置下表现不佳，以及基于图像和语音的模仿学习方法，但需要大量标记数据。相关论文包括《End-to-End Learning of Deep Visuomotor Policies》和《Deep Imitative Models for Flexible Inference, Planning, and Control》等