Jailbreak Attacks and Defenses Against Large Language Models: A Survey

大型语言模型（LLMs）在各种文本生成任务中表现出色，包括问答、翻译、代码补全等。然而，LLMs 过度辅助的问题引发了“越狱”的挑战，即通过设计对抗性提示诱导模型生成违反使用政策和社会的恶意响应。随着利用LLMs中不同漏洞的越狱攻击方法的出现，相应的安全对齐措施也在不断发展。本文提出了越狱攻击和防御方法的全面和详细的分类法。例如，攻击方法根据目标模型的透明度被分为黑盒和白盒攻击。同时，我们将防御方法分类为提示级和模型级防御。此外，我们进一步将这些攻击和防御方法细分为不同的子类，并呈现一个连贯的图表来说明它们之间的关系。我们还对当前的评估方法进行了调查，并从不同的角度进行了比较。我们的发现旨在激发未来研究和实际实现，以保护LLMs免受对抗性攻击。总之，尽管越狱仍然是社区中的一个重要问题，但我们相信我们的工作增强了对这个领域的理解，并为开发更安全的LLMs奠定了基础。

本论文旨在解决大语言模型（LLMs）面临的黑客攻击问题，提出了一种全面的分类方法，包括攻击和防御方法。这是否是一个新问题？

论文提出了一种全面的分类方法，将攻击和防御方法分为不同的子类，以提高对LLMs的安全性保护。相比当前的研究，这篇论文的新思路在于将攻击和防御方法进行了更细致的分类和划分，并提供了更具体的解决方案。

论文通过实验对当前的评估方法进行了比较，并提供了一些值得深入研究的工作方向。此外，论文还提供了一个清晰的图表来说明攻击和防御方法之间的关系。论文还提到了一些开源数据集和代码，以及一些值得关注的工作方向。

最近的相关研究包括：《Adversarial Attacks and Defenses in Images, Graphs and Text: A Review》、《A Survey of Adversarial Attacks and Defenses in Text》等。