LeTac-MPC: Learning Model Predictive Control for Tactile-reactive Grasping

本文介绍了一种基于学习的模型预测控制（MPC）的触觉反应抓取方法LeTac-MPC。该方法利用视觉触觉传感器GelSight感知高分辨率的触觉反馈，包含了抓取对象的物理特性和状态信息，能够让机械手在动态和力交互任务中抓取不同物理特性的物体。LeTac-MPC采用可微分MPC层，用于建模神经网络从触觉反馈中提取的嵌入向量，从而实现每秒25次的收敛和稳健的抓取控制。作者提出了一个完全自动化的数据收集流程，并使用不同物理特性的标准化块收集了数据集。然而，该方法训练出的控制器可以推广到大小、形状、材质和纹理不同的日常物品。实验结果表明，LeTac-MPC在动态和力交互任务中表现最佳，具有最好的泛化能力。作者将代码和数据集发布在https://github.com/ZhengtongXu/LeTac-MPC。

LeTac-MPC旨在解决机器人抓取中的触觉反馈和反应性抓取调整问题。

LeTac-MPC是一种基于学习的模型预测控制方法，利用视觉触觉传感器GelSight提取高分辨率的触觉反馈信息，并结合可微分的MPC层进行控制。

LeTac-MPC的数据集采用标准化的方块，但其控制器可以推广到具有不同尺寸、形状、材料和纹理的日常物品。实验结果表明，LeTac-MPC在动态和力交互任务中具有最佳性能和最佳泛化能力。作者公开了代码和数据集。

最近的相关研究包括：基于深度学习的触觉反馈控制方法、基于视觉的抓取策略、基于模型预测控制的抓取控制方法等。