SpecDETR: A Transformer-based Hyperspectral Point Object Detection Network

本文讨论高光谱目标检测（HTD）的问题，即基于高光谱图像中的光谱信息来识别特定材料并检测点目标，其中一些点目标的面积小于一个像素。然而，现有的HTD方法是基于每个像素的二分类开发的，这限制了对点目标的特征表示能力。因此，本文从物体检测的角度重新思考高光谱点目标检测，并更加关注对象级别的预测能力，而不是像素分类能力。受Detection Transformer（DETR）的基于标记的处理流程启发，我们提出了第一个专门用于高光谱多类点目标检测的网络SpecDETR。SpecDETR没有当前物体检测框架的主干部分，将高光谱图像中每个像素的光谱特征视为一个标记，并利用具有局部和全局协调注意模块的多层Transformer编码器来提取深度空间-光谱联合特征。SpecDETR将点目标检测视为一对多的集合预测问题，从而实现了一个简洁高效的DETR解码器，其在点目标检测的参数和准确性方面优于当前最先进的DETR解码器。我们开发了一个模拟的高光谱点目标检测基准数据集SPOD，并首次评估和比较了当前物体检测网络和HTD方法在高光谱多类点目标检测上的性能。SpecDETR在SPOD数据集上表现出优越的性能，超过了当前物体检测网络和HTD方法。此外，我们还验证了一个公共的HTD数据集，证明通过使用数据模拟而不是手动注释，SpecDETR可以直接检测真实世界的单光谱点目标。

本论文试图从目标检测的角度重新思考高光谱点目标检测，并聚焦于对象级别预测能力而非像素分类能力，提出了一种名为SpecDETR的高光谱多类点对象检测网络。

SpecDETR将高光谱图像中每个像素的光谱特征视为一个标记，并利用具有局部和全局协调注意力模块的多层Transformer编码器提取深度空间光谱联合特征，将点对象检测视为一对多集合预测问题，从而实现了简洁高效的DETR解码器。

论文开发了一个模拟的高光谱点目标检测基准测试集SPOD，并首次在其中评估并比较了当前目标检测网络和HTD方法在高光谱多类点目标检测方面的性能。实验结果表明，与当前目标检测网络和HTD方法相比，SpecDETR在SPOD数据集上表现出更好的性能。此外，通过使用数据模拟而非手动注释，论文还验证了SpecDETR可以直接检测现实世界中的单光谱点目标。

在最近的研究中，也有一些相关工作，例如：“Hyperspectral Target Detection with Deep Learning: A Review”（使用深度学习进行高光谱目标检测：综述）和“End-to-End Hyperspectral Object Detection via Joint Learning Spatial-Spectral Features”（通过联合学习空间光谱特征实现端到端高光谱对象检测）。