RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing

触觉反馈对于理解许多操作任务中刚性和可变形物体的动态特征至关重要，例如非抓握操作和密集堆积。我们引入了一种结合视觉和触觉感知的方法，通过学习神经元、触觉信息驱动的动力学模型来进行机器人操作。我们提出的框架RoboPack采用循环图神经网络来估计物体状态，包括粒子和物体级别的潜在物理信息，从历史视觉触觉观察中进行未来状态预测。我们从真实世界数据中学习了触觉信息驱动的动力学模型，可以使用模型预测控制解决下游机器人任务。我们在一台装备有柔性泡沫触觉传感器的真实机器人上演示了我们的方法，进行非抓握操作和密集堆积任务，在这些任务中，机器人必须从直接和间接的交互中推断出物体的物理属性。我们的模型只需在每个任务上平均进行30分钟的真实世界交互数据训练，就能够进行在线适应并做出基于触觉的预测。通过在长时间动力学预测和真实世界操作中进行广泛的评估，我们的方法表现出比以前基于学习和基于物理模拟系统更有效的效果。

本论文旨在通过结合视觉和触觉感知，学习神经触觉动力学模型，解决机器人操作中的非抓取操作和密集堆积等任务中的物体动力学问题。

RoboPack框架使用循环图神经网络从历史视觉和触觉观察中估计物体状态，并执行未来状态预测。该模型基于现实世界数据进行学习，可以通过模型预测控制解决下游机器人任务。

论文在真实机器人上使用柔性Soft-Bubble触觉传感器进行了非抓取操作和密集堆积任务的实验，并且仅使用平均30分钟的真实世界交互数据进行训练。实验结果表明，该方法在长期动力学预测和真实世界操作方面比先前的基于学习和基于物理的模拟系统更有效。

在这个领域中，最近的相关研究包括：1）基于视觉和触觉感知的物体状态估计和动力学学习；2）基于模型预测控制的机器人操作；3）基于深度学习的触觉感知和控制。相关论文包括：1）'Visual-Tactile State Estimation and Learning for Robot Manipulation'；2）'Model Predictive Control for Robotic Manipulation with Visual-Tactile Sensing'；3）'Deep Tactile Model Learning for Robotic Grasping'等。