IRSAM: Advancing Segment Anything Model for Infrared Small Target Detection

最近提出的“分段任意模型”（SAM）是自然图像分割领域的一项重大进展，表现出适用于各种下游图像分割任务的强大的零样本性能。然而，直接利用预训练的SAM进行红外小目标检测（IRSTD）任务时，由于自然图像和红外图像之间存在明显的领域差距，无法实现令人满意的性能。与可见光相机不同，热成像仪通过捕获红外辐射来显示物体的温度分布。小目标通常在物体边界处显示出微妙的温度过渡。为了解决这个问题，我们提出了IRSAM模型用于IRSTD，它改进了SAM的编码器-解码器架构，以学习更好的红外小物体特征表示。具体而言，我们设计了基于Perona-Malik扩散的块，并将其合并到SAM编码器的多个级别中，以帮助其捕获关键的结构特征，同时抑制噪声。此外，我们设计了一个粒度感知解码器（GAD），将来自编码器的多粒度特征融合起来，以捕捉在长距离建模中可能丢失的结构信息。对公共数据集（包括NUAA-SIRST、NUDT-SIRST和IRSTD-1K）进行的大量实验验证了IRSAM的设计选择及其与代表性最新方法相比的显着优越性。源代码可在以下网址找到：github.com/IPIC-Lab/IRSAM。

本论文旨在解决红外小目标检测中存在的领域差异问题，提出了一种改进的SAM模型（IRSAM），以提高模型对红外小目标的特征表示能力和准确性。

论文的关键思路是将Perona-Malik扩散算法引入SAM模型的编码器中，帮助模型更好地捕捉红外小目标的结构特征，并设计了Granularity-Aware Decoder（GAD）来融合多粒度特征，以捕获在长距离建模中可能丢失的结构信息。

论文使用NUAA-SIRST、NUDT-SIRST和IRSTD-1K等公共数据集进行了广泛的实验，证明了IRSAM模型的优越性，并提供了开源代码。此外，论文还提出了一些值得深入研究的方向，如如何进一步提高模型的鲁棒性。

在这个领域中，还有一些相关研究，如《Small Target Detection in Infrared Images Based on Salient Region Detection and Background Suppression》、《A Novel Infrared Small Target Detection Algorithm Based on Multi-Feature Fusion》等。