Adaptive Visual Imitation Learning for Robotic Assisted Feeding Across Varied Bowl Configurations and Food Types

在这项研究中，我们引入了一种新颖的视觉模仿网络，其中包含一个空间注意力模块，用于机器人辅助喂食。目标是从碗中获取（即舀取）食物。然而，实现稳健和适应性的食物操作是特别具有挑战性的。为了应对这个问题，我们提出了一个框架，将视觉感知与模仿学习相结合，使机器人能够处理舀取过程中的各种场景。我们的方法名为AVIL（自适应视觉模仿学习），在材料、大小和位置等不同碗的配置以及包括颗粒状、半固体和液体在内的多种食物类型中表现出适应性和稳健性，甚至在存在干扰物的情况下也是如此。我们通过在真实机器人上进行实验来验证我们的方法的有效性。我们还将其性能与基线进行了比较。结果表明，在所有场景中，我们的方法都比基线有所改进，成功度指标提高了最多2.5倍。值得注意的是，我们的模型仅在透明玻璃碗中包含颗粒状谷物的数据上进行了训练，但在测试其他碗的配置和不同类型食物时，展现了泛化能力。

本论文旨在解决机器人辅助喂食中的食物获取问题，特别是在处理不同材质、大小、位置、种类和干扰物存在的情况下实现自适应和鲁棒性。

论文提出了一种名为AVIL的框架，该框架将视觉感知与模仿学习相结合，通过空间注意力模块实现对碗中食物的获取。该模型在适应性和鲁棒性方面表现出色，甚至可以在不同碗的配置和食物类型之间进行零样本泛化。

论文通过实验验证了AVIL模型在不同场景下的表现优于基线模型，成功率提高了2.5倍。实验使用了透明玻璃碗中的谷物数据进行训练，但模型表现出了很好的泛化能力。论文还提供了数据集和代码资源。

最近的相关研究包括基于视觉感知和深度学习的机器人操作技能学习，以及模仿学习在机器人操作中的应用。相关论文包括《End-to-End Learning of Semantic Grasping》和《Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning》等。