RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer

本报告介绍了RT-DETRv2，这是一种改进的实时检测变压器（RT-DETR）。RT-DETRv2基于之前的最先进的实时检测器RT-DETR，并为灵活性和实用性提供了一组免费的工具包，同时优化了训练策略以实现增强的性能。为了提高灵活性，我们建议在可变形注意力中为不同尺度的特征设置不同数量的采样点，以实现解码器的选择性多尺度特征提取。为了增强实用性，我们提出了一种可选的离散采样运算符，以替换RT-DETR相对于YOLOs特定的grid_sample运算符。这消除了通常与DETRs相关的部署约束。对于训练策略，我们提出了动态数据增强和尺度自适应超参数定制，以提高性能而不损失速度。源代码和预训练模型将可在https://github.com/lyuwenyu/RT-DETR上获得。

RT-DETRv2试图提高实时目标检测的性能和灵活性，解决DETR在实际应用中的限制问题。

RT-DETRv2通过在可变形注意力中为不同尺度的特征设置不同数量的采样点，实现了选择性的多尺度特征提取。同时，提出了可选的离散采样算子来替换RT-DETR特有的网格采样算子，从而提高了实用性。此外，采用动态数据增强和尺度自适应超参数定制的训练策略，进一步提高了性能。

论文提出的方法在多个数据集上进行了实验，证明了其在速度和准确率方面的优势。并且，作者还提供了源代码和预训练模型。

与RT-DETRv2相关的研究包括：RT-DETR、YOLO、DETR等。