SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation

本文介绍了一种半监督框架SemiRES，该框架有效地利用标记和未标记数据的组合来执行RES。将半监督技术应用于RES的一个重要障碍是伪标签的噪声普遍存在，特别是在物体边界处。SemiRES将以其精确的边界划分而闻名的Segment Anything Model（SAM）结合起来，以提高这些伪标签的准确性。在SemiRES中，我们提供了两种备选匹配策略：基于IoU的最优匹配（IOM）和复合部件集成（CPI）。这些策略旨在从SAM的输出中提取最准确的掩模，从而以增强的精度指导学生模型的训练。在不能从可用的候选项中匹配出精确掩模的情况下，我们开发了Pixel-Wise Adjustment（PWA）策略，直接通过伪标签指导学生模型的训练。在三个RES基准测试（RefCOCO，RefCOCO +和G-Ref）的大量实验中，相对于全监督方法，SemiRES表现出卓越的性能。值得注意的是，仅使用1％的标记数据，我们的SemiRES就比全监督基线表现出更大的优势，例如在RefCOCO val集上获得了+18.64％的增益。该项目代码可在\url{https://github.com/nini0919/SemiRES}中找到。

本论文试图解决半监督目标分割中伪标签噪声问题，提出了一种利用标记和未标记数据的半监督框架SemiRES来进行目标分割。

论文中提出了一种结合Segment Anything Model（SAM）的半监督框架SemiRES，该框架采用IoU-based Optimal Matching（IOM）和Composite Parts Integration（CPI）两种策略从SAM的输出中提取最准确的掩码，以指导学生模型的训练。

SemiRES在RefCOCO、RefCOCO+和G-Ref三个目标分割基准测试中表现出优异的性能，即使只有1%的标记数据，也能比有监督的基线模型表现更好。论文提供了开源代码。

相关研究包括：1. Mask R-CNN；2. TransMask；3. Semi-supervised Semantic Segmentation；4. Interactive Object Selection；5. Learning to Segment Every Thing。