Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement

DETR-like方法在端到端方式下显著提高了检测性能。其中的主流两阶段框架执行密集的自注意力并选择一部分查询进行稀疏的交叉注意力，这被证明可以有效地提高性能，但也引入了重负载的计算和对稳定查询选择的高度依赖。本文表明，次优的两阶段选择策略会导致由于两阶段初始化中选择的查询与对象不匹配而产生尺度偏差和冗余。为了解决这些问题，我们提出了分层显著性过滤细化方法，仅对经过过滤的有辨别力的查询进行transformer编码，以更好地在计算效率和精度之间取得权衡。过滤过程通过新颖的尺度无关显著性监督克服了尺度偏差。为了弥补查询之间的语义不对齐，我们引入了精细的查询细化模块，用于稳定的两阶段初始化。基于以上改进，所提出的Salience DETR在三个具有挑战性的任务特定检测数据集上分别实现了+4.0% AP、+0.2% AP、+4.4% AP的显著提高，以及在COCO 2017上以更少的FLOPs实现了49.2% AP。代码可在https://github.com/xiuqhou/Salience-DETR上获得。

论文旨在提出一种新的目标检测方法，解决当前两阶段方法存在的计算负担和稳定性问题，同时克服两阶段初始化中存在的规模偏差和冗余问题。

论文提出了分层显著性过滤细化的方法，通过对筛选后的具有区分性的查询进行Transformer编码，实现计算效率和精度之间的平衡。同时，该方法通过新颖的无尺度显著性监督，克服了规模偏差问题，并通过精心设计的查询细化模块，解决了两阶段初始化中的语义不匹配问题。

论文在三个具有挑战性的检测数据集上实现了显著的性能提升，同时在COCO 2017上实现了49.2％的AP，且计算复杂度更低。作者已经开源了代码。

最近在这个领域中，也有其他相关的研究。例如：DETR、DETRAC、Sparse RCNN等。