Machine Against the RAG: Jamming Retrieval-Augmented Generation with Blocker Documents

这篇文章介绍了检索增强生成（RAG）系统，它们通过从知识数据库中检索相关文档并应用LLM来生成答案来响应查询。作者指出，当RAG系统在可能存在不受信任内容的数据库上运行时，它们容易受到一种新的拒绝服务攻击，被称为“卡住”攻击。攻击者可以向数据库中添加一个单一的“阻塞”文档，以响应特定查询并导致RAG系统无法回答查询，表面上是因为缺乏信息或答案不安全。作者描述和分析了几种生成阻塞文档的方法，包括一种基于黑盒优化的新方法，不需要攻击者知道目标RAG系统使用的嵌入或LLM，也不需要访问辅助LLM来生成阻塞文档。作者测量了考虑的几种方法对几种LLM和嵌入的有效性，并证明了现有的LLM安全度量不捕捉它们对卡住攻击的脆弱性。最后，作者讨论了对抗阻塞文档的防御措施。

本文旨在研究Retrieval-augmented generation (RAG)系统在处理潜在不受信任内容的数据库时，容易受到一种新型的拒绝服务攻击，称为“jamming”。

本文提出了几种生成“blocker”文档的方法，其中包括一种基于黑盒优化的新方法，该方法不需要攻击者知道目标RAG系统使用的嵌入或LLM，也不需要访问辅助LLM来生成blocker文档。

本文测量了考虑了几种LLMs和嵌入方法的方法的有效性，并证明了现有的LLM安全度量不捕捉它们对堵塞攻击的脆弱性。本文还讨论了防御blocker文档的方法。

最近的相关研究包括“OpenAI GPT-2”和“GPT-3”等自然语言处理模型的研究。