Latent Object Characteristics Recognition with Visual to Haptic-Audio Cross-modal Transfer Learning

在机器人处理物品时，识别物品的特征对于调整动作以确保与容器的稳定和高效互动至关重要。在实现稳定和高效的机器人运动来处理/转移容器之前，本研究旨在识别潜在的不可观察的物品特征。虽然视觉常用于机器人的物品识别，但对于检测隐藏的物品来说并不有效。然而，间接使用其他传感器识别物品是一项具有挑战性的任务。为了解决这个挑战，我们提出了一种从视觉到触觉-音频的跨模态迁移学习方法。我们最初使用视觉训练模型，直接观察目标物品。随后，我们将从视觉学习的潜在空间转移到第二个模块，该模块仅使用触觉-音频和电机数据进行训练。这种迁移学习框架利用间接传感器数据来表示物品特征，从而提高识别精度。为了评估我们提出的学习框架的识别精度，我们选择了形状、位置和方向作为物品特征。最后，我们演示了使用人形机器人Nextage Open在线识别经过训练和未经训练的物品。

本文旨在解决机器人在处理和转移容器时需要识别潜在的不可观测的物体特征的问题。然而，使用视觉识别隐藏对象是无效的，因此需要利用其他传感器间接识别物体特征。

本文提出了一种从视觉到触觉-音频的交叉模态迁移学习方法。首先，使用视觉直接观察目标物体进行模型训练。然后，将从视觉学习到的潜在空间转移到第二个模块，该模块仅使用触觉-音频和电机数据进行训练。这种迁移学习框架有助于利用间接传感器数据表示物体特征，从而提高识别精度。

本文的亮点包括使用交叉模态迁移学习方法从视觉到触觉-音频进行物体识别，以及在Nextage Open机器人上演示了对已训练和未训练对象的在线识别。实验结果表明，该方法能够有效地识别物体的形状，位置和方向。

最近的相关研究包括使用深度学习进行物体识别的研究，以及使用传感器数据进行交叉模态学习的研究。例如，'Deep Learning for Object Recognition: A Review'和'Cross-modal Learning with Adversarial Networks for Audio-Visual Retrieval'等。