【论文标题】Detecting Human-Object Interaction with Mixed Supervision 【作者团队】Suresh Kirthi Kumaraswamy，Miaojing Shi，Ewa Kijak 【发表时间】2020/11/10 【论文链接】https://arxiv.org/pdf/2011.04971.pdf

【推荐理由】 本文来自法国 IRISA 实验室，作者针对「人-物」交互（HOI）检测任务，基于动量独立学习技术设计了一种 HOI 元素交换模块，本文提出的基于混合监督的 HOI 检测方法实现了与全监督方法相当的性能。

「人-物」交互（HOI）检测是图像理解和推理领域中一项重要的任务。我们往往通过<人，动词，物体>三元组的形式来表示「人-物」交互，这需要我们检测出人和物体的边界框以及而这之间发生的动作。实际上，该任务要求我们拥有用于训练的强监督信号，而这往往是很那很难实现的。为了解决这一问题，人们自然而然会想到使用弱监督学习技术，此时我们只知道图片中存在某些 HOI 三元组，而并不知道他们的具体位置。大多数弱监督学习方法并没有采用可以得到的具有强监督信号的数据。而实际上，在 HOI 检测任务中，简单地将弱监督与全监督学习范式结合起来往往也不能得到显著性能提升。为此，本文作者提出了一种混合监督 HOI 检测工作流程。得益于动量独立学习，本文作者在模型设计阶段无缝地利用无监督学习和全监督学习范式进行学习。此外，针对混合监督中标注数据不足的问题，本文作者提出了一种 HOI 元素交换技术，整合不同图片之间多样的、难以检测的负例，从而提升模型的鲁棒性。本文作者在极具挑战性的 HICO-DET 数据集上评估了文中提出的新方法。本文提出的方法通过使用混合的强标注和弱标注数据得到了与全监督方法相当，甚至更好的性能。此外，在监督信号相同的情况下，本文提出的方法也由于典型的弱监督和全监督方法。

图 1：使用不同程度监督信号的人-物」交互（HOI）检测。
具体而言，本文作者首先通过一个目标检测器得到任何物体的边界框。接着，作者随机地在图像中创建「人-物」对，并且通过本文提出的 HOI 元素交换模块创建不同图像之间的「人-物」对。作者通过一个并行的双分支结构实现 HOI 检测，从而实现对交互的分类和检测。每个分支都由被用于预测得分得分的全连接层和对分别得分矩阵的行和列进行归一化的 softmax 层构成。作者使用区域级别和图像级别的真实数据来优化全监督和弱监督训练数据。本文作者提出了一种「动量独立」策略使混合监督学习中的两种范式分别拥有两种独立的动量。
图 2：混合监督 HOI 检测流程。

内容中包含的图片若涉及版权问题，请及时与我们联系删除