Distilling Semantic Priors from SAM to Efficient Image Restoration Models

在图像恢复任务中，利用分割模型提取语义先验已经成为提高性能的常见方法。最近出现的“Segment Anything Model”（SAM）已经成为提取高级语义先验以增强图像恢复任务的强大工具。然而，与现有的较小的图像恢复模型相比，SAM的计算成本对于图像恢复来说是禁止性的。SAM的引入会严重影响模型推理效率。为了解决这个问题，我们提出了一个通用框架，将SAM的语义知识提炼出来，以提升现有的图像恢复模型的性能，而不影响它们的推理过程。具体而言，我们提出的框架包括“语义先验融合”（SPF）方案和“语义先验提取”（SPD）方案。SPF将原始图像恢复模型预测的恢复图像和SAM预测的语义掩模之间的两种信息进行融合，以得到精细的恢复图像。SPD利用自我提炼的方式提取融合的语义先验，以提高原始图像恢复模型的性能。此外，我们为SPD设计了一个“语义引导关系”（SGR）模块，以确保语义特征表示空间的一致性，从而充分提取先验。我们在多个图像恢复模型和任务中展示了我们框架的有效性，包括去雨、去模糊和去噪。

本论文旨在解决在图像恢复任务中，使用语义分割模型提取语义先验以提高性能时，计算成本过高的问题，提出了一种将语义知识蒸馏到现有图像恢复模型中的框架。

论文提出的框架包括语义先验融合（SPF）方案和语义先验蒸馏（SPD）方案。SPF将原始图像恢复模型预测的恢复图像和SAM预测的语义掩模之间的两种信息进行融合，SPD利用自蒸馏的方式将融合的语义先验提取出来，以提高原始图像恢复模型的性能。

论文的框架在多个图像恢复任务中进行了实验验证，包括去雨、去模糊和去噪。实验结果表明，该框架可以提高现有图像恢复模型的性能，并且相比于当前领域的研究，该论文的思路具有新意。此外，论文还设计了语义引导的关系（SGR）模块，以确保语义特征表示空间的一致性，从而充分提取语义先验。

与本论文相关的研究包括使用语义分割模型提取语义先验以提高图像恢复性能的研究，如SEAN、CASSI和GASD等。