CANDY: A Benchmark for Continuous Approximate Nearest Neighbor Search with Dynamic Data Ingestion

近似K最近邻（AKNN）算法在各种人工智能应用中发挥着关键作用，包括信息检索、计算机视觉和自然语言处理。尽管最近已经开发了许多AKNN算法和基准来评估它们的有效性，但现实世界数据的动态性提出了重大挑战，现有基准无法解决。传统基准主要评估静态环境下的检索效率，并经常忽视更新效率，这对于处理连续数据摄入至关重要。这种限制导致对AKNN算法适应数据变化模式的能力评估不完整，从而限制了对其在动态环境中的性能洞察。为了解决这些差距，我们引入了CANDY，这是一个专为连续近似最近邻搜索和动态数据摄入量身定制的基准。CANDY全面评估了各种AKNN算法，整合了高级优化，如机器学习驱动的推断来代替传统的启发式扫描，以及改进的距离计算方法来降低计算开销。我们在各种数据集上进行了广泛的评估，结果表明，较简单的AKNN基线通常在召回率和延迟方面优于更复杂的替代方案。这些发现挑战了关于高性能算法复杂性必要性的既有信念。此外，我们的结果强调了现有的挑战，并阐明了未来的研究机会。我们已经在https://github.com/intellistream/candy上提供了数据集和实现方法。

论文旨在解决现有AKNN算法在动态数据环境下的局限性，即无法有效地处理连续数据摄入和更新效率的问题。

论文提出了一个名为CANDY的基准测试，用于评估AKNN算法在动态数据环境下的性能。CANDY综合评估了一系列AKNN算法，并集成了先进的优化策略，如基于机器学习的推理和改进的距离计算方法，以减少计算开销。

论文的实验结果表明，在召回率和延迟方面，简单的AKNN基线算法通常优于更复杂的替代方案。此外，论文提供了数据集和实现方法，并强调了未来研究的机会。

最近的相关研究包括《An Empirical Evaluation of Approximate Nearest Neighbor Algorithms》和《Efficient and Accurate Approximate Nearest Neighbor Search with Hierarchical Navigable Small World Graphs》。