PLUG: Revisiting Amodal Segmentation with Foundation Model and Hierarchical Focus

本文旨在预测部分遮挡物体的完整形状，而不可避免的分割则是实现视觉智能的重要一步。实践中，充足的先验知识来源于充足的训练，然而有限的分割注释使得获得更好性能面临挑战。为了解决这个问题，我们提出了第一个基于SAM的不可避免分割方法PLUG，利用了基础模型中累积的强大先验知识。在方法上，我们提出了一个新的分层聚焦框架，以更好地适应任务特征并释放SAM的潜力。在区域级别上，由于可见区域和遮挡区域的关联和划分，不可避免和不可避免区域被分配为不同分支的焦点，以避免相互干扰。在点级别上，我们引入了不确定性的概念，以明确地帮助模型识别和关注模糊点。在不确定性图的指导下，应用计算经济的点损失来提高预测边界的准确性。我们在几个知名数据集上进行了实验，结果表明我们提出的方法优于现有方法，并且即使总参数更少，我们的方法仍然表现出显着的优势。

本文旨在解决部分遮挡物体的完整形状预测问题，提出了基于SAM的amodal分割方法PLUG，以克服有限的amodal注释对于提高性能的挑战。

本文提出了一种新的分层框架，利用SAM的强大先验知识来更好地适应任务特性和发挥其潜在能力，通过在区域级别和点级别引入不确定性概念，提高了预测边界的准确性。

本文的亮点包括采用SAM进行amodal分割，使用分层框架和不确定性概念提高分割准确性，实验结果表明该方法在多个数据集上均优于现有方法，且参数更少。

最近的相关研究包括：'Amodal Instance Segmentation with KINS Dataset'，'Learning to Segment Every Thing'，'Amodal Detection of 3D Objects: Inferring 3D Bounding Boxes from 2D Ones in RGB-Depth Images'等。