SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking

该论文提出了一种空间-光谱融合网络（SST-Net），该网络具有光谱角度感知能力，可用于高光谱（HS）目标跟踪。相较于现有方法，该方法能够同时提供有价值的空间、光谱和时间信息，因此非常适用于处理背景杂波和目标视觉相似性等挑战。首先，为了解决现有网络中光谱特征提取不足的问题，该论文设计了一个空间-光谱特征骨干网络（$S^2$FB），通过空间和光谱提取分支，获得了纹理和光谱的联合表示。其次，该论文提出了一种光谱注意力融合模块（SAFM），以捕获HS和RGB模态之间的内部和外部相关性，获得融合特征。它可以将视觉信息纳入HS光谱上下文中，形成强大的表示。第三，为确保跟踪器对目标位置的响应更加精确，该论文提出了一种光谱角度感知模块（SAAM），在预测阶段调查模板和搜索图像之间的区域级光谱相似性。此外，该论文开发了一种新的光谱角度感知损失（SAAL），以基于相似区域为SAAM提供指导。最后，为获得稳健的跟踪结果，该论文考虑了一种加权预测方法，将HS和RGB预测的目标运动组合起来，以发挥每种模态的优势。该论文在HOTC数据集上进行了广泛的实验，证明了所提出的SSF-Net相对于现有最先进的跟踪器的有效性。

本论文旨在解决高光谱视频（HSV）中物体追踪中存在的背景杂波和物体视觉相似性等挑战，提出了一种空间-光谱融合网络，其中包括光谱角感知模块，以及一种新的光谱角感知损失函数。

论文的关键思路是设计了一个空间-光谱特征骨干网络（S2FB），并提出了光谱注意力融合模块（SAFM）和光谱角感知模块（SAAM），以及加权预测方法，以提高高光谱视频中物体追踪的准确性。

论文的亮点包括：1）提出了一种新的空间-光谱特征骨干网络，以提高光谱特征的提取；2）提出了光谱注意力融合模块和光谱角感知模块，以提高物体追踪的准确性；3）在HOTC数据集上进行了广泛的实验，证明了所提出的方法的有效性。

最近的相关研究包括：1）'RGBT Tracking via Joint Collaborative Representation and Spatial-Temporal Regularization'；2）'SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines'；3）'Hierarchical Convolutional Features for Visual Tracking'。