Segment Anything in High Quality
Lei Ke, Mingqiao Ye, Martin Danelljan, Yifan Liu, Yu-Wing Tai, Chi-Keung Tang, Fisher Yu
本文提出 HQ-SAM，使 SAM 具备准确分割任何物体的能力，同时保持 SAM 原有的提示设计、效率和零样本泛化能力。我们的精心设计重用并保留了 SAM 的预训练模型权重，同时只引入了最少的额外参数和计算。
我们设计了一个可学习的高质量输出令牌，它被注入到 SAM 的掩码解码器中，并负责预测高质量掩码。我们不是仅将其应用于掩码解码器功能，而是首先将它们与早期和最终 ViT 功能融合以改进掩码细节。
为了训练我们引入的可学习参数，我们从多个来源组成了一个 44K 细粒度掩码数据集。 HQ-SAM 仅在引入的 44k 掩模 detaset 上进行训练，在 8 个 GPU 上仅需 4 小时。
我们展示了 HQ-SAM 在跨不同下游任务的一组 9 个不同分割数据集中的功效，其中 7 个在零镜头传输协议中进行了评估。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢