RemDet: Rethinking Efficient Model Design for UAV Object Detection

无人机图像中的目标检测已成为研究的焦点领域，这带来了两个主要挑战：i）目标通常在广阔的图像中很小且密集；ii）计算资源的限制使得大多数模型不适合实时部署。目前的实时目标检测器并未针对无人机图像进行优化，而专门设计用于小目标检测的复杂方法往往缺乏实时能力。为了解决这些挑战，我们提出了一种新的检测器，称为RemDet（重参数高效乘法检测器）。我们的贡献如下：1）重新思考现有检测器在处理小而密集的无人机图像时面临的挑战，并提出信息损失作为高效模型的设计准则。2）我们引入了ChannelC2f模块以增强小目标检测性能，证明高维表示可以有效减轻信息损失。3）我们设计了GatedFFN模块，不仅提供强大的性能，还具有低延迟，有效解决了实时检测的挑战。我们的研究表明，通过使用乘法，GatedFFN比前馈网络在高维表示上更具成本效益。4）我们提出了CED模块，结合了ViT和CNN下采样的优点，有效减少了信息损失。它特别增强了小而密集目标的上下文信息。在大型无人机数据集Visdrone和UAVDT上的大量实验验证了我们方法的实时效率和卓越性能。在具有挑战性的无人机数据集VisDrone上，我们的方法不仅提供了最先进的结果，检测性能提高了超过3.4%，而且在单个4090显卡上实现了110帧每秒的处理速度。代码可在以下网址获取：(https://github.com/HZAI-ZJNU/RemDet)。

该论文试图解决无人机图像中的小而密集目标检测问题，同时满足实时性要求。这是一个具有挑战性的问题，因为现有的实时检测器不适用于无人机图像，而专为小目标设计的复杂方法又缺乏实时处理能力。

论文提出了一种新的检测器RemDet，通过重新思考现有检测器的信息损失问题，并引入ChannelC2f模块和GatedFFN模块来提高小目标检测性能和降低延迟。此外，还设计了CED模块，结合ViT和CNN下采样的优势，减少信息损失并增强上下文信息。

论文在Visdrone和UAVDT等大型无人机数据集上进行了广泛的实验，验证了RemDet的实时效率和卓越性能。在VisDrone数据集上，RemDet不仅提高了超过3.4%的检测精度，还达到了110 FPS的帧率。此外，作者提供了开源代码，便于后续研究和应用。

近期在无人机图像目标检测领域，还有一些相关研究，例如《YOLOv5: Improved Real-Time Object Detection》、《EfficientDet: Scalable and Efficient Object Detection》和《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》。这些研究分别从不同的角度优化了目标检测的性能和效率。