End-to-End Human Instance Matting

人物实例抠图旨在为图像中的每个人物实例估计一个阿尔法抠图，这是极具挑战性的，迄今为止很少被研究。尽管有一些尝试使用实例分割生成每个实例的三元组并应用三元组抠图方法，但由于分割不准确，得到的阿尔法抠图通常不准确。此外，由于抠图方法的多次执行，这种方法在计算效率上也不高。为了解决这些问题，本文提出了一种新颖的端到端人物实例抠图（E2E-HIM）框架，以更有效的方式同时进行多个实例的抠图。具体而言，一个通用的感知网络首先提取图像特征并将实例上下文解码为潜在编码。然后，一个统一的引导网络利用空间注意力和语义嵌入生成统一的语义引导，它编码了所有实例的位置和语义对应关系。最后，一个实例抠图网络解码图像特征和统一的语义引导来预测所有实例级别的阿尔法抠图。此外，我们构建了一个大规模的人物实例抠图数据集（HIM-100K），其中包含超过100,000张带有实例阿尔法抠图标签的人物图像。在HIM-100K上的实验证明，所提出的E2E-HIM方法在人物实例抠图方面的性能优于现有方法，误差降低了50％，速度提高了5倍（640X640图像中的6个实例）。在PPM-100、RWP-636和P3M数据集上的实验表明，E2E-HIM在传统的人物抠图上也取得了竞争性的性能。

解决问题：论文旨在解决人类实例抠图的问题，提出一种更高效准确的端到端的方法。

关键思路：论文提出了一种新的端到端人类实例抠图框架E2E-HIM，该框架包括三个网络：感知网络、统一引导网络和实例抠图网络。其中，统一引导网络利用空间注意力和语义嵌入生成统一的语义引导，实例抠图网络利用图像特征和统一的语义引导预测所有实例级别的alpha遮罩。

其他亮点：论文构建了一个大规模的人类实例抠图数据集（HIM-100K），包含超过100,000张带有实例alpha遮罩标签的人类图像。实验结果表明，E2E-HIM在人类实例抠图方面的表现优于现有方法，错误率降低了50％，速度提高了5倍（640x640图像中的6个实例）。在PPM-100、RWP-636和P3M数据集上的实验也表明，E2E-HIM在传统人类抠图方面也取得了竞争性的性能。

相关研究：最近的相关研究包括：Deep Image Matting、Semantic Human Matting、Instance Segmentation等。