Lost in UNet: Improving Infrared Small Target Detection by Underappreciated Local Features

由于红外图像的长距离成像机制，许多目标在红外图像中通常非常小。UNet及其变体作为流行的检测骨干网络，早期对局部特征进行下采样，导致这些局部特征不可逆地丢失，从而导致红外图像中小目标的漏检和误检。我们提出了一种新颖的网络HintU，用于恢复各种基于UNet的方法丢失的局部特征，以有效地检测红外小目标。HintU有两个关键贡献。首先，它首次引入了“提示”机制，即利用目标位置的先验知识来突出关键的局部特征。其次，它改进了主流的基于UNet的架构，以在下采样后保留目标像素。HintU可以从一开始就将各种网络（例如，vanilla UNet、UNet++、UIUNet、MiM+和HCFNet）的重点从不相关的背景像素转移到更受限制的区域。在NUDT-SIRST、SIRSTv2和IRSTD1K三个数据集上的实验结果表明，HintU仅增加1.88毫秒的成本（在RTX Titan上），就可以提高现有方法的性能。此外，HintU的明确约束增强了基于UNet的方法的泛化能力。代码可在https://github.com/Wuzhou-Quan/HintU上获得。

本论文旨在解决红外图像中小目标检测问题，针对现有UNet及其变体网络在早期下采样时造成的局部特征丢失问题，提出了一种新的网络HintU，以恢复这些丢失的局部特征。

HintU网络的关键思路是引入“Hint”机制，利用目标位置的先验知识来突出关键的局部特征，并改进主流的UNet-based架构以在下采样后保留目标像素。

论文在三个数据集上进行了实验，证明了HintU可以提高现有方法的性能，仅增加了1.88毫秒的计算时间。HintU的显式约束还增强了UNet-based方法的泛化能力。此外，论文还提供了代码开源。

与本论文相关的研究包括UNet及其变体网络，以及其他一些用于小目标检测的网络，如SiamFC和SiamRPN。