Typos that Broke the RAG's Back: Genetic Attack on RAG Pipeline by Simulating Documents in the Wild via Low-level Perturbations

近期大型语言模型（LLM）的鲁棒性越来越关键，因为它们的适用范围正在不断扩展到各个领域和实际应用中。检索增强生成（RAG）是解决LLM限制的一种有前途的解决方案，但现有的RAG鲁棒性研究经常忽略了RAG组件之间的相互关系或实际数据库中存在的潜在威胁，例如文本错误。本文研究了评估RAG鲁棒性时的两个未充分探讨的方面：1）通过低级扰动对噪声文档的脆弱性和2）对RAG鲁棒性的整体评估。此外，我们引入了一种新的攻击方法，基因攻击RAG（\textit{GARAG}），它针对这些方面。具体而言，GARAG旨在揭示每个组件内的漏洞，并测试整个系统对噪声文档的功能性。我们通过将\textit{GARAG}应用于标准QA数据集并结合不同的检索器和LLM来验证RAG的鲁棒性。实验结果表明，GARAG始终能够实现高攻击成功率。它显著破坏了每个组件及其协同作用的性能，突显了在现实世界中即使是微小的文本不准确性也会对破坏RAG系统造成实质性风险。

本论文试图解决Retrieval-Augmented Generation (RAG)模型中存在的鲁棒性问题，特别是对于文本噪声的容错能力和RAG整体鲁棒性的评估。

本论文提出了一种基于遗传算法的攻击方法GARAG，用于评估RAG模型的鲁棒性。该方法可以揭示每个组件的漏洞并测试整个系统对于噪声文本的功能性。在实验中，作者使用不同的Retriever和LLM模型对标准QA数据集进行了测试，并验证了GARAG的有效性。

论文的亮点包括提出了一种新的攻击方法GARAG来评估RAG模型的鲁棒性，同时还设计了一系列实验来验证GARAG的有效性。作者还开源了他们的代码和数据集，方便其他研究者进行相关研究。

在相关研究方面，最近的一些研究主要集中在改进RAG模型的性能和效率，例如使用预训练模型和多任务学习等方法。相关论文包括《Dense Passage Retrieval for Open-Domain Question Answering》和《Multi-Task Learning for Retrieval-Augmented Language Generation》等。