Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective

近年来，神经信息检索（IR）模型的最新进展在各种IR任务中显著提高了其效果。这些模型的稳健性对于确保它们在实践中的可靠性也引起了广泛关注。随着对稳健IR的广泛研究，我们认为现在是整合当前状态、从现有方法中获取见解并为未来发展奠定基础的时机。我们认为IR的稳健性是一个多方面的概念，强调其在对抗攻击、分布外（OOD）场景和性能差异方面的必要性。我们专注于对抗和OOD稳健性，分别对密集检索模型（DRM）和神经排名模型（NRM）的稳健性解决方案进行了剖析，认识到它们是神经IR流程的关键组成部分。我们深入讨论了现有的方法、数据集和评估指标，阐明了在大语言模型时代面临的挑战和未来方向。据我们所知，这是关于神经IR模型稳健性的第一份综合调查报告，并且我们还将在SIGIR 2024上进行我们的第一次教程演示 \url{https://sigir2024-robust-information-retrieval.github.io}。除了组织现有工作，我们还推出了一个稳健IR基准（BestIR），这是一个用于稳健神经信息检索的异构评估基准，可在\url{https://github.com/Davion-Liu/BestIR}上公开获取。我们希望这项研究为未来的IR模型稳健性研究提供有用的线索，并有助于开发可信的搜索引擎\url{https://github.com/Davion-Liu/Awesome-Robustness-in-Information-Retrieval}。

研究神经信息检索模型的鲁棒性，尤其是对抗性攻击和分布偏移的鲁棒性。

针对密集检索模型（DRMs）和神经排名模型（NRMs）的鲁棒性解决方案进行深入讨论和分析，并提出一个评估基准（BestIR）。

论文介绍了现有的方法、数据集和评估指标，并讨论了大语言模型时代面临的挑战和未来方向。提出的评估基准（BestIR）是一个公开的异构评估基准。作者还提供了开源代码和一个Awesome-Robustness-in-Information-Retrieval的Github页面。

该论文是首篇全面综述神经信息检索模型鲁棒性的研究，因此没有相关的研究。但是，该论文引用了许多先前的研究，并探讨了它们的优缺点。