Open Sesame! Universal Black Box Jailbreaking of Large Language Models

大型语言模型（LLMs）旨在提供有用和安全的响应，通常依靠对齐技术来与用户意图和社交准则对齐。不幸的是，恶意行为者可以利用这种对齐来操纵LLM的输出，以达到意外的目的。在本文中，我们介绍了一种新方法，它采用遗传算法（GA）来操纵LLMs，当模型架构和参数不可访问时。GA攻击通过优化通用对抗提示来工作，当与用户的查询相结合时，会破坏被攻击模型的对齐，导致意外和潜在的有害输出。我们的新方法通过揭示模型的响应偏离预期行为的实例，系统地揭示了模型的局限性和漏洞。通过广泛的实验，我们证明了我们的技术的有效性，从而为评估和增强LLMs与人类意图的对齐提供了诊断工具，从而为负责任的AI开发的讨论做出了贡献。据我们所知，这是第一个自动化的通用黑盒越狱攻击。

本论文旨在提出一种基于遗传算法的黑盒攻击方法，用于评估和增强大型语言模型（LLMs）与人类意图的对齐性，以解决恶意攻击者利用模型对齐技术操纵LLMs输出的问题。

本论文提出了一种基于遗传算法的黑盒攻击方法，通过优化通用对抗提示来破坏被攻击模型的对齐性，从而导致意外和潜在有害的输出。该方法可以揭示模型的局限性和漏洞，为评估和增强LLMs与人类意图的对齐性提供一种诊断工具。

本论文通过广泛的实验表明了该方法的有效性，并提供了一个诊断工具用于评估和增强LLMs与人类意图的对齐性。此外，该论文还提供了一些值得关注的实验细节，包括使用的数据集和开源代码。值得进一步研究的工作包括如何减轻这种攻击以及如何提高模型的对齐性。

最近在这个领域中，还有一些相关的研究，例如《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》、《Attention is All you Need》等。