ORMNet: Object-centric Relationship Modeling for Egocentric Hand-object Segmentation

EgoHOS是一项全新的任务，旨在分割视角主体图像中的手和交互对象。尽管当前的方法已经取得了显著的进展，但建立一个高精度的端到端模型仍然是一个未解决的挑战。此外，现有方法缺乏对手和物体之间以及物体和物体之间关系的明确建模，因此忽略了关键的手物互动信息，并引入了混乱到算法中，最终导致分割性能的降低。为了解决现有方法的局限性，本文提出了一种全新的面向对象的关系建模网络（ORMNet）用于EgoHOS。具体来说，基于单编码器和多解码器框架，我们设计了手物关系（HOR）模块，利用手引导注意力捕捉手和物体之间的相关性并促进它们的表示。此外，基于观察到的不同类别物体之间的相互关系，我们引入了对象关系解耦（ORD）策略。该策略允许在训练期间解耦两个手对象，从而减轻网络的歧义。在三个数据集上的实验结果表明，所提出的ORMNet具有显著的优异分割性能和强大的泛化能力。

提出一种新的任务——EgoHOS（Egocentric hand-object segmentation），即在自我中心图像中分割手和交互对象。当前方法存在建立高准确性的端到端模型的挑战，以及缺乏手与对象之间、对象与对象之间关系的显式建模，导致算法混淆和分割性能下降。

提出一种基于单编码器和多解码器框架的ORMNet（Object-centric Relationship Modeling Network）来解决现有方法的局限性。其中，设计了手-对象关系（HOR）模块来捕捉手和对象之间的相关性，并引入了对象关系解耦（ORD）策略来减少网络的歧义。

实验结果表明，ORMNet具有显著的分割性能和强大的泛化能力。使用了三个数据集进行实验，论文提出的方法在手-对象分割领域有很大的创新性和实用性。

在该领域的相关研究包括HandSeg、HandPointNet、Ego-RNN等。