Ranking Manipulation for Conversational Search Engines

主要的搜索引擎提供商正在迅速将大型语言模型（LLM）生成的内容纳入用户查询的响应中。这些对话式搜索引擎通过将检索到的网站文本加载到LLM上下文中进行摘要和解释。最近的研究表明，LLM非常容易受到越狱和提示注入攻击的影响，这些攻击使用对抗字符串来破坏LLM的安全性和质量目标。本研究调查提示注入对被对话式搜索引擎引用的来源排名顺序的影响。为此，我们引入了一个真实的消费品网站的数据集，并将对话式搜索排名形式化为对抗性问题。在实验中，我们分析了对话式搜索排名在没有对抗注入的情况下，发现不同的LLM在优先考虑产品名称、文档内容和上下文位置方面存在显着差异。然后，我们提出了一种基于攻击树的越狱技术，可以可靠地提升排名较低的产品。重要的是，这些攻击有效地转移到了最先进的对话式搜索引擎，如perplexity.ai。考虑到网站所有者有强烈的财务动机来提高他们的搜索排名，我们认为我们的问题形式化对未来的鲁棒性工作至关重要。

本文旨在研究prompt injections对于会话式搜索引擎排序的影响，以及提出一种基于攻击树的越狱技术，以提高低排名产品的搜索排名。

本文提出了一种基于攻击树的越狱技术，可以有效地提高低排名产品的搜索排名，并且可以转移到最新的会话式搜索引擎中。

本文提出了一个真实的消费品网站数据集，分析了不同的LLMs在优先考虑产品名称、文档内容和上下文位置方面的差异。实验结果表明，本文提出的攻击技术可以有效地提高低排名产品的搜索排名，并且可以转移到最新的会话式搜索引擎中。

最近在这个领域中，还有一些相关的研究，如《Adversarial Attacks on Neural Networks for Graph Data: An Overview》、《Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey》等。