AMES: Asymmetric and Memory-Efficient Similarity Estimation for Instance-level Retrieval

本研究探讨了在内存效率的约束下进行实例级图像检索重新排序的问题，最终旨在将内存使用限制为每个图像1KB。与以往注重性能提升不同，本研究将重点放在性能和内存需求之间的重要权衡上。所提出的模型采用基于Transformer的架构，旨在通过捕捉局部描述符之间以及图像之间的交互来估计图像之间的相似度。该模型的一个独特特性是能够进行不对称相似度估计。与查询图像相比，数据库图像使用较少的描述符表示，从而在不增加内存消耗的情况下提高了性能。为确保适应不同的应用程序，在测试阶段引入了一种通用模型，该模型能够适应不同数量的局部描述符。在标准基准测试中的结果表明，我们的方法优于手工制作和学习模型。特别是，与当前忽略内存占用的最先进方法相比，我们的方法不仅具有卓越的性能，而且内存占用显著降低。代码和预训练模型可在以下链接中公开获取：https://github.com/pavelsuma/ames

论文旨在解决实例级图像检索重新排序的问题，并限制内存使用量为每张图片1KB。相比较于当前研究的关注点在于性能提升，该论文更注重性能和内存需求之间的平衡。

该论文提出了一种基于Transformer架构的模型，通过捕捉图像内和图像间的交互来估计图像之间的相似度，以局部描述符为基础。模型的一个独特特性是具有非对称的相似度估计能力。数据库图像与查询图像相比，使用更少的描述符进行表示，从而在不增加内存消耗的情况下提高了性能。

论文的实验结果表明，该方法优于手工制作和学习模型，并且相比于当前忽略内存占用的最新技术，该方法不仅具有卓越的性能，而且内存占用明显降低。该论文的代码和预训练模型已经公开。

最近的相关研究包括：'Deep Metric Learning for Instance-Level Visual Recognition: A Survey'，'Deep Learning for Image Retrieval: A Comprehensive Review'。