RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content

最近，大型语言模型（LLM）的进展在不同领域的各种任务中展示出了显著的能力。然而，偏见的出现以及在恶意输入下生成有害内容的潜力，给LLM带来了重大挑战。目前的缓解策略虽然有效，但在面对对抗性攻击时不具有弹性。本文介绍了一种新颖的框架——大型语言模型的弹性防护栏（RigorLLM），旨在高效有效地调节LLM的有害和不安全输入和输出。通过采用多方面的方法，包括通过Langevin动力学进行基于能量的训练数据增强、通过极小化最大化优化为输入优化安全后缀以及基于我们的数据增强将稳健KNN与LLM结合的融合模型，RigorLLM为有害内容的调节提供了强大的解决方案。我们的实验评估表明，RigorLLM不仅在检测有害内容方面优于现有的基线，如OpenAI API和Perspective API，而且在面对越狱攻击时表现出无与伦比的弹性。约束优化和基于融合的防护栏方法的创新使用，代表了在开发更安全可靠的LLM方面迈出的重要一步，为面对不断发展的数字威胁的内容调节框架设立了新的标准。

RigorLLM旨在有效地调节大型语言模型中的有害和不安全的输入和输出，以应对潜在的有害内容和偏见的出现。

RigorLLM采用多方面的方法，包括能量基础训练数据增强、通过极小极大化优化输入的安全后缀以及将鲁棒KNN与基于数据增强的LLMs相结合的融合模型，提供了一种强大的解决方案。

RigorLLM在检测有害内容方面优于OpenAI API和Perspective API，并且展现了出色的抗攻击性。该论文的创新点在于使用约束优化和融合式的监管方法，对发展更安全可靠的LLMs具有重要意义。

在这个领域中，最近的相关研究包括《The Risk of Racial Bias in Hate Speech Detection》和《Mitigating Unwanted Biases with Adversarial Learning》等。