OmniCount: Multi-label Object Counting with Semantic-Geometric Priors

目标计数对于理解场景的构成至关重要。以前，这项任务被特定类别的方法所支配，这些方法逐渐演变成更具适应性的类别不可知策略。然而，这些策略也有其自身的限制，例如需要手动输入示例和多次通过多个类别，导致显着的低效率。本文介绍了一种新的更实用的方法，使用开放词汇框架同时计数多个目标类别。我们的解决方案OmniCount通过使用预训练模型的语义和几何见解来计数用户指定的多个目标类别，而无需额外的训练。OmniCount通过生成精确的目标掩模和利用Segment Anything模型的点提示来实现高效计数，从而脱颖而出。为了评估OmniCount，我们创建了OmniCount-191基准数据集，这是一个首创的多标签目标计数数据集，包括点、边界框和VQA注释。我们在OmniCount-191以及其他领先的基准测试中进行了全面评估，证明了OmniCount的卓越性能，显著超越了现有的解决方案，预示着目标计数技术的新时代的到来。

本论文旨在解决多目标物体计数的问题，同时避免传统方法需要手动输入示例和多次遍历的限制。

本文提出了一种新的方法，使用开放词汇框架，通过预训练模型的语义和几何洞察力，实现用户指定的多个物体类别的同时计数。这一方法不需要额外的训练，可以生成精确的物体掩码，并利用点提示进行高效计数。

本文提出的方法在多个数据集上进行了全面的评估，包括点、边界框和VQA注释，并证明了其优异的性能。此外，本文还创建了一个新的数据集，OmniCount-191，用于多标签物体计数的基准测试。论文的代码已经开源。

在相关研究中，传统的物体计数方法已经逐渐发展为更灵活的类别无关策略。近年来，一些类别无关的物体计数方法已经被提出，例如DORN和CSRNet。