GUARD: Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics for LLMs

随着大语言模型在各个领域中变得越来越重要，其生成有害回应的潜在风险引发了广泛的社会关注和监管担忧。为此，各国政府发布了伦理指南，以推动可信人工智能的发展。然而，这些指南通常只是对开发和测试人员提出的高层次要求，缺乏将其转化为具体测试问题的指导，从而在落实指南与实际测试之间留下了一道鸿沟。 为应对这一挑战，我们提出了GUARD方法（\textbf{G}uideline \textbf{U}pholding Test through \textbf{A}daptive \textbf{R}ole-play and Jailbreak \textbf{D}iagnostics，即通过自适应角色扮演和越狱诊断来落实指南），该方法旨在将伦理指南转化为具体的、违反指南的问题，以评估大语言模型是否符合相关要求。具体而言，GUARD基于政府发布的指南，自动生成可能违反指南的问题，用于测试模型的回应是否合规。当回应直接违反指南时，GUARD会报告不一致之处。此外，对于未直接违反指南的回应，GUARD进一步引入“越狱”（jailbreak）概念，形成GUARD-JD（越狱诊断模块），通过构建诱发不道德或违规回应的情境，有效识别可能绕过内置安全机制的潜在场景。最终，我们的方法生成一份合规性报告，明确模型的合规程度并指出任何违规情况。 我们已在七个大语言模型上对GUARD进行了实证验证，包括Vicuna-13B、LongChat-7B、Llama2-7B、Llama-3-8B、GPT-3.5、GPT-4、GPT-4o和Claude-3.7，测试内容涵盖三项政府发布的伦理指南，并进行了越狱诊断。此外，GUARD-JD还可将越狱诊断方法迁移至视觉-语言模型，展示了其在促进可靠的大语言模型应用方面的实用性。

论文试图解决大型语言模型（LLM）可能生成有害内容的问题，并探讨如何将政府发布的AI伦理指南转化为具体的测试手段，以验证LLM是否符合这些指南。这是一个新兴且重要的问题，因为随着LLMs在社会各领域的广泛应用，其潜在风险引发了越来越多的社会和监管关注。

论文提出了一种名为GUARD的测试方法，将伦理指南转化为具体的、违反指南的测试问题，从而评估LLM是否遵守这些指南。其创新之处在于结合了自动生成违反指南的问题和“越狱”（jailbreak）诊断技术（GUARD-JD），模拟可能绕过安全机制的场景，以更全面地评估模型的合规性。

1. 提出GUARD和GUARD-JD框架，系统化地将伦理指南转化为可操作的合规测试方法 2. 实证验证了该方法在7个主流LLM上的有效性，包括Vicuna、Llama系列、GPT系列和Claude-3.7 3. 实验设计涵盖三个政府发布的伦理指南，并引入越狱场景以探测模型的潜在风险 4. GUARD-JD可扩展到视觉-语言模型，显示其在多模态应用中的广泛适用性 5. 论文推动了可信AI的发展，为LLM的安全评估提供了实用工具

1. “Ethical and Societal Implications of Algorithms in Society” (2021) 2. “Aligning Language Models to Human Values through Preference Learning” (2022) 3. “Red Teaming Language Models with Adversarial Suffixes” (2023) 4. “Towards Robust and Reliable AI: A Survey on Adversarial Attacks and Defenses” (2023) 5. “Evaluating the Ethical Compliance of Large Language Models using Synthetic Benchmarks” (2024)