Self-Explainable Affordance Learning with Embodied Caption

在视觉可供学习领域中，以前的方法主要使用大量描绘人类行为模式的图像或视频，以识别用于物体操作的动作可能区域，具有各种机器人任务的应用。然而，它们遇到了行动模糊性的主要挑战，例如是否敲击或携带鼓，以及处理复杂场景所涉及的复杂性。此外，及时纠正机器人错误对人类干预非常重要。为了解决这些问题，我们介绍了具有体现说明的SEA（Self-Explainable Affordance）学习方法。这种创新使机器人能够表达他们的意图，弥合了可解释的视觉语言字幕和视觉可供学习之间的差距。由于缺乏适当的数据集，我们揭示了一个为此任务量身定制的开创性数据集和指标，该数据集集成了图像、热图和体现说明。此外，我们提出了一种新颖的模型，以简单而有效的方式将可供接地与自我解释相结合。广泛的定量和定性实验证明了我们方法的有效性。

论文提出了自我解释的可视化能力学习（SEA）方法，旨在解决视觉能力学习中的行动歧义和复杂场景处理问题，同时使机器人能够表达其意图，以便进行人类干预。

该论文提出了一种将可视化能力学习与自我解释相结合的模型，通过使用图像、热图和自我解释来训练机器人，使其能够在复杂场景中进行准确的物体操作。

论文提出了一个新的数据集和度量标准，用于评估机器人的可视化能力学习和自我解释能力。论文还设计了实验来验证其方法的有效性，并提供了开源代码。

在这个领域中，最近的相关研究包括《Visual Affordance Learning with Self-Supervised Spatial Perception》和《Learning to Grasp with Affordance Map》。