MaGGIe: Masked Guided Gradual Human Instance Matting

本文介绍了图像和视频处理中的一个基础任务——人像抠图，即从输入中提取人物前景像素。以往的方法要么通过额外的指导来提高准确性，要么通过改进单个实例在帧间的时间一致性来提高效果。我们提出了一个新的框架MaGGIe，即Masked Guided Gradual Human Instance Matting，它可以在保持计算成本、精度和一致性的同时，逐步预测每个人物实例的alpha通道抠图。我们的方法利用现代架构，包括Transformer注意力和稀疏卷积，同时输出所有实例的抠图，而不会使内存和延迟爆炸。虽然在多实例场景下保持恒定的推理成本，但我们的框架在我们提出的合成基准测试中实现了强大而多功能的性能。在更高质量的图像和视频抠图基准测试中，我们引入了来自公开可用源的新型多实例综合方法，以增加模型在实际场景中的泛化能力。

MaGGIe论文旨在解决人类前景像素从输入中提取的问题，提出了一种新的多实例渐进式人类实例抠图框架，以维持计算成本、精度和一致性。

MaGGIe利用转换器注意力和稀疏卷积等现代架构，同时输出所有实例抠图，而不会使内存和延迟爆炸，从而在多实例场景下保持恒定的推理成本。

MaGGIe框架在提出的合成基准测试中实现了稳健和多功能的性能，同时引入了公开可用源的新型多实例综合方法，以增加模型在真实世界场景中的泛化能力。

最近在人类实例抠图领域的相关研究有：Deep Image Matting、Natural Image Matting、Closed-Form解决方案等。