Tracking Any Object Amodally

本文介绍了一种基础技能——模态感知，即从部分可见性中理解完整物体结构的能力，即使对于婴儿来说也是如此。它的重要性延伸到自动驾驶等应用领域，其中对于严重遮挡的物体有清晰的理解至关重要。然而，现代检测和跟踪算法经常忽略了这一关键能力，可能是由于大多数数据集中普遍存在模态注释。为了解决缺乏非模态数据的问题，我们引入了TAO-Amodal基准测试，其中包括数千个视频序列中的880个不同类别。我们的数据集包括可见和遮挡物体的非模态和模态边界框，包括部分超出框架的物体。为了增强非模态跟踪的对象永久性，我们利用轻量级插件模块——非模态扩展器，在几百个视频序列上进行数据增强的微调，将标准模态跟踪器转化为非模态跟踪器。我们在TAO-Amodal上实现了3.3％和1.6％的遮挡物体检测和跟踪改进。在人员评估时，与最先进的模态基线相比，我们的方法产生了2倍的显着改进。

解决问题：本文旨在解决现代检测和跟踪算法忽略了amodal perception的问题，通过引入TAO-Amodal数据集和amodal expander模块，提高对遮挡物体的检测和跟踪能力。

关键思路：通过引入TAO-Amodal数据集和amodal expander模块，将标准的modal trackers转化为amodal trackers，从而提高遮挡物体的检测和跟踪能力。

其他亮点：TAO-Amodal数据集包含880个不同类别的物体，包括amodal和modal bounding boxes，以及部分超出帧的物体。实验结果表明，本文方法在遮挡物体的检测和跟踪上均有显著提高，尤其在人的检测上提高了2倍。

相关研究：最近的相关研究包括《Amodal Detection of 3D Objects: Inferring 3D Bounding Boxes From 2D Ones in RGB-Depth Images》、《Amodal Instance Segmentation and Multi-Object Tracking with Re-Identification》等。