Grounding DINO 1.5: Advance the "Edge" of Open-Set Object Detection

本文介绍了由IDEA Research开发的先进开放式目标检测模型套件Grounding DINO 1.5，旨在推进开放式目标检测的“边缘”。该套件包括两个模型：Grounding DINO 1.5 Pro，一个高性能模型，旨在实现跨多种场景更强的泛化能力；Grounding DINO 1.5 Edge，一个经过优化以满足许多需要边缘部署的应用程序更快速度的高效模型。Grounding DINO 1.5 Pro模型通过扩展模型架构、集成增强的视觉骨干和扩展训练数据集至超过2000万张图像进行了改进，从而实现了更丰富的语义理解。Grounding DINO 1.5 Edge模型通过降低特征尺度，同时在同一全面数据集上进行训练，保持了强大的检测能力。实证结果证明了Grounding DINO 1.5的有效性，其中Grounding DINO 1.5 Pro模型在COCO检测基准上达到了54.3 AP，在LVIS-minival零样本转移基准上达到了55.7 AP，创造了开放式目标检测的新记录。此外，Grounding DINO 1.5 Edge模型在使用TensorRT进行优化后，在LVIS-minival基准上达到了75.2 FPS的速度，同时实现了36.2 AP的零样本性能，使其更适合于边缘计算场景。模型示例和API演示将在https://github.com/IDEA-Research/Grounding-DINO-1.5-API发布。

Grounding DINO 1.5试图提升开放集目标检测的边缘应用能力。

Grounding DINO 1.5包括两个模型：高性能的Grounding DINO 1.5 Pro和高效的Grounding DINO 1.5 Edge。两个模型都使用超过2000万个带有grounding注释的图像进行训练，并通过不同的方式优化模型结构，以提高检测精度和速度。

Grounding DINO 1.5 Pro在COCO检测基准测试和LVIS-minival零样本转移基准测试中均达到了新的记录，分别为54.3 AP和55.7 AP。Grounding DINO 1.5 Edge在TensorRT优化后，在LVIS-minival基准测试中达到了36.2 AP和75.2 FPS的速度。作者将提供API和代码以供使用。

最近的相关研究包括YOLOv4和EfficientDet等目标检测模型的改进版本。