Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective

近年来，神经信息检索模型的最新进展在各种信息检索任务中显著提高了它们的效果。这些模型的健壮性对于确保它们在实践中的可靠性也引起了重视。我们认为，随着对健壮信息检索的广泛研究提出，现在是整合当前状态、从现有方法中获取见解、为未来发展奠定基础的时机。我们认为信息检索的健壮性是一个多方面的概念，强调其在对抗性攻击、分布外情况和性能差异方面的必要性。我们专注于对抗性和分布外健壮性，并分别剖析了密集检索模型（DRMs）和神经排序模型（NRMs）的健壮性解决方案，认识到它们是神经信息检索流程的关键组成部分。我们深入讨论了现有方法、数据集和评估指标，揭示了大型语言模型时代的挑战和未来方向。据我们所知，这是对神经信息检索模型健壮性的第一次全面调查，并且我们还将在SIGIR 2024上首次进行教程演示。除了整理现有工作，我们还推出了健壮信息检索基准测试（BestIR），这是一个公开的异构评估基准，可用于评估神经信息检索的健壮性，网址为\url{https://github.com/Davion-Liu/BestIR}。我们希望这项研究为未来健壮信息检索的研究提供有用的线索，并有助于开发可信赖的搜索引擎，网址为\url{https://github.com/Davion-Liu/Awesome-Robustness-in-Information-Retrieval}。

本论文旨在研究神经信息检索模型的鲁棒性，特别是在对抗性攻击和分布外场景下的表现。

本论文提出了针对密集检索模型（DRMs）和神经排序模型（NRMs）的鲁棒性解决方案，并介绍了现有方法、数据集和评估指标，同时提出了一个名为BestIR的鲁棒性评估基准。

本论文是对神经信息检索模型鲁棒性的首次全面调查，并在SIGIR 2024上首次进行了教程演示。论文提供了有关对抗性攻击和分布外场景下的鲁棒性解决方案的深入讨论，同时提供了一个公开的评估基准。

近期的相关研究包括：1. Adversarial Information Retrieval on Web Search（WWW 2020）；2. Adversarial Attacks on Neural Information Retrieval with Reinforcement Learning（SIGIR 2020）；3. Robust Neural Information Retrieval via Orthogonal Gradient Descent（ICLR 2021）等。