【论文标题】Affordance Transfer Learning for Human-Object Interaction Detection

【作者团队】Zhi Hou, Baosheng Yu, Yu Qiao, Xiaojiang Peng, Dacheng Tao

【发表时间】2021/04/07

【机构】悉尼大学、中科院深圳先进技术研究所、上海 AI 实验室、深圳科技大学

【论文链接】https://arxiv.org/pdf/2104.02867.pdf

【代码链接】https://github.com/zhihou7/HOI-CL

本文出自悉尼大学、中科院深圳先进技术研究所、上海 AI 实验室、深圳科技大学联合团队，作者将「人-物」交互检测的表征解耦为功能可见性表征与物体表征，并基于物体的功能可见性利用辅助数据集中的图片实现了性能强大的功能可见性迁移学习。

对「人-物交互」进行推理是实现深入理解场景的必要条件，而物体的功能可见性对于人类发现包含新物体的未曾见过的「人-物交互」具有重要意义。受此启发，本文作者引入了一种功能可见的迁移学习方法，该方法可以在检测包含新物体的「人-物交互」的同时也识别出物体的功能可见性。

具体而言，HOI 表征可以被解耦为功能可视性和物体表征的组合，通过将功能可见性表征和其它图像中的新物体表征结合起来，就有可能组成新的交互，即将功能可见性迁移给新物体。通过本文提出的功能可见性迁移学习，该模型还具有根据已知的功能可见性表征推断新物体的功能可见性的能力。因此，本文提出的方法可用于：1）提高 HOI 的检测性能，特别是对包含未曾见过的物体的 HOI 的检测；2）推断新物体的功能可见性。

本文作者在 HICO-DET 和 HOI- coco（来自 V-COCO）数据集上进行了对比实验。实验结果表明，本文提出的方法相对于最先进的 HOI 检测和物体功能可见性检测方法有显著的提升。

图 1：用于 HOI 检测的 ATL 模型示意图。

内容中包含的图片若涉及版权问题，请及时与我们联系删除