Alignment-Free RGBT Salient Object Detection: Semantics-guided Asymmetric Correlation Network and A Unified Benchmark

RGB和热成像（RGBT）显著目标检测（SOD）旨在通过利用可见光和热成像图像对的互补信息来实现高质量的显著性预测，这些图像最初以不对齐的方式捕获。然而，现有方法是针对手动对齐的图像对进行设计的，这是一项费时费力的工作，而将这些方法直接应用于原始的未对齐图像对可能会显著降低它们的性能。在本文中，我们首次尝试解决RGBT SOD的问题，即针对最初捕获的RGB和热成像图像对进行处理，而无需手动对齐。具体而言，我们提出了一个语义引导的不对称相关网络（SACNet），它由两个新颖的组件组成：1）一个利用语义引导注意力来建模特定于未对齐显著区域的跨模态相关性的不对称相关模块；2）一个相关的特征采样模块，根据相应的RGB特征来采样相关的热特征，以进行多模态特征集成。此外，我们构建了一个统一的基准数据集UVT2000，其中包含2000对RGB和热成像图像，这些图像是直接从各种实际场景中捕获的，而无需任何对齐，以促进无需对齐的RGBT SOD的研究。在对齐和未对齐数据集上进行的大量实验表明了我们方法的有效性和优越性能。数据集和代码可在https://github.com/Angknpng/SACNet上获得。

本论文旨在解决RGB和热成像图像对的初始捕获问题，其未经手动对齐。现有的RGBT显着对象检测方法适用于手动对齐的图像对，而直接将这些方法应用于原始未对齐的图像对可能会显着降低其性能。

本文提出了一种Semantics-guided Asymmetric Correlation Network（SACNet），它由两个新组件组成：1）使用语义引导注意力的不对称相关模块，以建模特定于未对齐显着区域的跨模态相关性；2）相关的特征采样模块，根据相应的RGB特征采样相关的热特征，以进行多模态特征集成。

本文构建了一个统一的基准数据集UVT2000，其中包含了直接从各种实际场景中捕获的2000个RGB和热成像图像对，以促进无需对齐的RGBT显着对象检测研究。在对齐和未对齐的数据集上进行了广泛的实验，证明了我们方法的有效性和优越性能。此外，数据集和代码可在https://github.com/Angknpng/SACNet上获得。

在这个领域中，最近的相关研究包括“RGBT显着性检测：基于深度学习和手工特征的方法比较”、“RGBT显着性检测：基于双流注意力网络和多任务学习的方法”等。