Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Baselines

本文介绍了小目标检测一直以来都是一个具有挑战性的任务，虽然已经有了很多数据集和算法，但它们主要关注于可见光或热成像模态，而可见光-热成像（RGBT）双模态却很少被探索。虽然最近已经开发了一些RGBT数据集，但数量不足、类别有限、图像错位和目标尺寸较大，不能提供一个公正的基准来评估多类别可见光-热成像小目标检测（RGBT SOD）算法。因此，本文构建了第一个高多样性的RGBT SOD大规模基准（即RGBT-Tiny），包括115个配对序列、93K帧和1.2M手动注释。RGBT-Tiny包含丰富的目标（7个类别）和高多样性的场景（8个类型，涵盖不同的照明和密度变化）。需要注意的是，超过81%的目标尺寸小于16x16，并提供带有跟踪ID的配对边界框注释，为广泛的应用（如RGBT融合、检测和跟踪）提供了一个极具挑战性的基准。此外，我们提出了一种尺度自适应适应度（SAFit）测量，它在小目标和大目标上具有高鲁棒性。所提出的SAFit可以提供合理的性能评估，并促进检测性能。基于所提出的RGBT-Tiny数据集和SAFit测量，进行了广泛的评估，包括23种最新的最先进算法，涵盖了四种不同类型（即可见光通用检测、可见光SOD、热成像SOD和RGBT目标检测）。项目可在https://github.com/XinyiYing24/RGBT-Tiny上获得。

论文旨在建立一个高多样性的RGBT SOD（可见光-热红外双模态下的小目标检测）基准数据集，并提出一种适用于小目标的尺度自适应健康度量方法。

论文的关键思路是建立一个高多样性的RGBT SOD基准数据集，并提出一种适用于小目标的尺度自适应健康度量方法，以提高检测性能。

论文建立了一个名为RGBT-Tiny的大规模RGBT SOD基准数据集，包括115个配对序列、93K帧和1.2M手动注释。数据集包含丰富的目标（7个类别）和高多样性场景（8种类型），并提供跟踪ID的配对边界框注释。作者还提出了一种尺度自适应健康度量方法，称为SAFit，可以提高小目标检测的性能。论文进行了广泛的评估，包括23种最新的算法，并提供了开源项目。

最近的相关研究包括：1）RGBT数据集的开发；2）可见光和热红外数据融合技术；3）小目标检测的算法研究。相关论文包括：“RGBT-234：一个大规模RGBT目标检测数据集”、“基于深度学习的RGBT目标检测：进展、挑战和展望”等。