Monitoring Decomposition Attacks in LLMs with Lightweight Sequential Monitors

当前的大语言模型（LLM）安全防御机制在分解攻击面前失效，这种攻击将恶意目标拆解为多个看似无害的子任务，从而绕过模型的拒绝机制。问题的根源在于现有的浅层安全对齐技术：这些技术仅检测直接输入中的潜在危害，而无法推断长期意图，因此对于通过一系列看似良性的指令逐步显现的恶意意图完全无法察觉。为此，我们建议引入一个外部监控器，以更高粒度观察整个对话过程。 为了支持我们对分解攻击监控的研究，我们整理了迄今为止规模最大、多样性最高的数据集，涵盖问答、文本转图像以及代理任务等多种类型。我们通过在前沿大语言模型上测试这些数据集进行验证，并发现平均而言，针对GPT-4o的攻击成功率达到87%，这表明分解攻击具有广泛的 effectiveness。此外，我们还发现，随机任务可以被注入到分解后的子任务中，进一步掩盖恶意意图。 为了实现实时防御，我们提出了一种轻量级的序列监控框架，该框架能够累积评估每个子任务的安全性。我们证明，经过精心设计提示词的轻量级监控器可以达到93%的防御成功率，优于作为监控器使用的推理模型（如o3 mini）。更重要的是，该方法对随机任务注入具有较强的鲁棒性，同时将成本降低90%，延迟减少50%。我们的研究结果表明，轻量级序列监控器在缓解分解攻击方面非常有效，并且适合实际部署。

论文试图解决当前大型语言模型（LLM）在面对分解攻击时的安全漏洞问题。这种攻击通过将恶意目标分解为看似无害的子任务，绕过传统的浅层安全对齐技术。这是一个新兴问题，随着LLM能力的增长而变得日益重要。

论文提出了一种外部监控机制，以更高的粒度观察对话过程，并引入了一个轻量级的顺序监控框架，该框架通过对每个子任务进行累积评估来检测潜在的恶意意图。相比现有方法，这种方法不仅能够捕捉长期意图，还能有效防御随机任务注入等复杂攻击策略。

论文构建了目前最大、最多样化的分解攻击数据集，涵盖问答、文本生成图像和代理任务等多个领域，并验证了GPT-4o等前沿LLM在这些攻击下的脆弱性（87%攻击成功率）。此外，论文提出了一种精心设计的轻量化监控模型，实现了93%的防御成功率，同时显著降低了计算成本和延迟。代码和数据集是否开源未明确提及，但研究为实时防御系统的设计提供了重要参考。

近期相关研究包括：1)《Detecting Adversarial Prompts in Large Language Models》探讨了对抗性提示的检测方法；2)《Chain-of-Thought Reasoning for Safe AI》研究了通过链式推理提升模型安全性；3)《Evaluating and Mitigating Risks in Multimodal Models》分析了多模态模型中的风险及其缓解策略。这些研究共同推动了AI安全领域的进步，但本论文的独特之处在于其专注于分解攻击的实际解决方案。