图 1：CURE方法概览。通过反事实安全价值评估定位高风险词元，并对其选择性重掩码，将不安全的去噪路径引导至安全生成。该研究工作已入选NeurIPS 2026 Oral。

随着大语言模型在各类实际场景中的广泛应用，安全性已成为衡量模型可靠性与实用价值的重要维度。尽管现有模型通过安全对齐具备了一定的有害请求识别与拒绝能力，但面对精心设计的越狱攻击，仍可能生成违反安全要求的内容。如何有效抵御恶意攻击，同时尽可能保留模型原有的通用能力，是大模型安全研究面临的重要挑战。

当前，大语言模型的安全研究主要围绕自回归生成范式展开。然而，近年来受到关注的扩散语言模型(Diffusion Language Model，DLM)采用了不同的生成机制：它不再严格按照从左到右的顺序逐词元生成，而是通过迭代去噪逐步完成回答。这种生成方式使词元之间能够形成双向依赖，也使生成过程中的中间状态具有可编辑性。与此同时，生成机制的差异也带来了新的安全问题：已有的自回归模型安全防御思路，未必能够直接适应DLM的动态去噪过程。

为此，智源研究院提出CURE，利用中间状态的可编辑性，预测词元对未来风险的影响，选择性重掩码致险词元，引导原模型继续安全生成。在3个模型、5个攻击基准上，CURE将平均攻击成功率降至1.36%，基本保持通用能力，额外计算开销低至0.7%。该研究工作已入选NeurIPS 2026 Oral(112/30709, 0.36%)。

看似无害的词元，为什么会影响最终安全？

图2：常规去噪与CURE的生成轨迹对比。看似无害的早期词元可能引导后续生成走向不安全回答，而CURE通过选择性重掩码致险词元，使模型转向安全响应。

扩散语言模型(Diffusion Language Model，DLM)通过迭代去噪逐步填充掩码位置。与自回归语言模型逐词元向后生成不同，DLM中已填入的词元可以通过双向条件依赖影响其他位置的预测。因此，一个词元即使本身不包含明显的有害语义，也可能通过改变后续去噪的条件分布，影响最终回答的安全性。在有害提示下，这种影响并不限于“Sure”等表达肯定或服从意图的词元。might、by、to等普通词元，也可能在特定中间状态下推动后续生成走向不安全响应。
本文将这类增加最终不安全响应风险的词元称为致险词元。它们并不具有固定的有害属性，风险取决于所处的上下文，以及对后续生成的影响。同一个词元在不同去噪状态下，可能发挥完全不同的作用。这也意味着，仅根据当前已生成内容是否包含有害表达，未必能够准确判断后续生成的安全性。对于DLM，安全评估还需要考虑当前词元选择对最终回答的潜在影响。
现有防御的局限与核心目标

图3：现有DLM安全防御的三种代表性方法。块级修复通过检测与重新生成修正风险内容，模型对齐通过偏好优化调整生成行为，轨迹检测则利用去噪过程中的动态信号识别潜在风险。

块级修复通过重掩码或重新生成风险内容进行干预，但较大范围的修改会增加计算开销，也可能影响原本可以保留的内容；模型对齐通过额外训练调整整体生成行为，需要权衡训练成本与通用能力保持；轨迹检测利用去噪过程中的动态信号识别风险，但检测本身并不直接解决哪些生成位置需要修正的问题，额外的信号采集与干预也可能增加开销。
这些方法的局限提示了另一种思路：与其对较大范围的生成内容进行修复，或调整模型整体行为，不如利用DLM中间状态的可编辑性，只撤销可能推动后续生成走向不安全响应的局部选择。不过，要实现这种细粒度干预，还需要解决两个问题。首先，当前去噪状态尚未形成完整回答，如何判断它可能带来的最终安全风险？其次，即使能够预测风险，又如何确定哪些已填词元值得重新生成，而不是对整个生成块进行修改？
CURE正是围绕这两个问题展开：将未来安全风险预测与词元级归因结合起来，在保留原模型生成能力的同时，以较低的额外计算开销实现选择性修正。
CURE：预测未来风险，选择性修正致险生成决策
CURE(Counterfactual Unsafe-token Re-masking)利用DLM中间状态的可编辑性，在去噪过程中识别可能增加未来风险的词元，并选择性地将其重新掩码，再由原模型继续生成。整个过程不需要修改基础DLM的参数，只需训练一个轻量安全价值模块。
这一思路与经典约束优化中的回溯操作具有一定相似性：当某个局部选择不再合适时，可以撤销该选择，同时保留其他已经确定的内容，再继续求解。DLM的重掩码机制提供了类似的局部修改能力。不过，CURE并不显式遍历搜索树，也不保证获得安全约束下的全局最优解，而是利用学习得到的风险信号决定哪些词元需要重新生成。

图4：CURE方法整体框架。轻量安全价值模型用于估计当前去噪状态最终生成安全回答的可能性，主干树采样为模型训练提供安全价值监督。在推理阶段，CURE复用缓存的词元表征进行反事实归因，识别并重掩码致险词元，引导原模型继续安全生成。

安全价值模型：从中间状态预测最终风险
由于部分去噪状态尚未形成完整回答，直接判断当前内容是否安全，并不能充分反映最终生成结果的风险。为此，CURE训练安全价值模型，根据当前部分去噪状态、归一化去噪进度和可见词元集合，估计最终响应安全完成的可能性：
主干采样：构建中间状态的安全价值监督
训练价值模型需要知道：从某个尚未完成的去噪状态继续生成，最终有多大可能得到安全回答。但如果对每一个中间状态都进行大量随机续写，采样成本会很高。CURE采用主干树采样构建监督信号。具体而言，先采样少量完整去噪轨迹作为主干，再在不同去噪进度的检查点启动多条随机续写，并使用外部安全分类器评估最终回答。对于每个检查点，安全续写所占的比例构成该中间状态的经验安全回报。通过在选定检查点进行分支采样，CURE无需对整条轨迹上的所有状态反复续写，就能获得不同去噪阶段的安全价值监督。训练时，模型使用Smooth L1 Loss拟合经验安全回报，并通过Margin Loss拉开相近去噪进度下安全倾向与不安全倾向状态的预测值，使价值模型不仅能够估计安全程度，还能区分具有不同未来风险的中间状态。
缓存表征与反事实读出：高效评估词元风险
获得安全价值模型后，下一步是判断具体哪些词元在增加未来风险。一种直接做法是逐个移除候选词元，再重新运行主干模型，比较风险预测的变化。但这种方式需要大量额外前向计算，难以满足推理效率要求。CURE将词元表征抽取与安全价值读出分离，直接复用标准去噪前向过程中缓存的词元特征。安全价值模块通过交叉注意力读取这些特征：安全查询与去噪进度嵌入共同构成Query，缓存的词元特征作为Key和Value。关键在于，交叉注意力的读出掩码可以控制价值模型直接访问哪些词元位置。通过调整掩码，CURE可以构造三种读出视图：
·完整视图：访问当前全部可见词元，估计整体安全价值。
·排除视图：屏蔽某个候选词元的读出，观察风险预测如何变化。
·单词元视图：仅开放某个候选词元的特征，评估其单独提供的风险信号。
这些视图复用同一组缓存特征，只需重新计算轻量价值模块，不必为每个候选词元额外运行主干网络。需要注意的是，这里的反事实操作发生在价值模型的特征读出层面，并不等同于实际撤销词元后重新执行完整去噪。因此，不同视图之间的预测差异是一种高效的风险归因近似，而不是对真实生成干预因果效应的直接测量。
词元归因：哪些局部选择在推动未来风险？
CURE通过两类基于价值模型的反事实归因分数，评估候选词元对未来风险的贡献：
·必要性(necessity,nec)：当价值模型不再直接读取某个词元的特征时，预测的不安全风险降低多少？如果风险明显下降，说明该词元在当前状态下可能是重要的风险贡献因素。
·充分性(sufficiency,suf)：当价值模型仅读取某个词元的特征时，预测的不安全风险有多高？这一分数衡量单个词元特征能够提供多强的风险信号。
两类分数分别从排除和单独保留的角度评估词元作用。CURE将它们加权组合，用于衡量候选词元对未来不安全生成的潜在贡献。在实际去噪过程中，CURE不会无差别地审计和修改所有已填词元，而是重点检查当前步骤新生成的词元，以及部分置信度较低的历史词元。随后，结合归因分数与生成不确定性，选择超过阈值的位置进行重掩码，并限制每一步允许修改的词元数量。被重掩码的位置重新开放，由原模型在后续步骤中填充。同时，CURE会在下一步抑制这些位置原先的词元，避免刚撤销的选择被立即恢复。
由此，安全价值模型负责预测风险，反事实归因负责定位词元，重掩码负责执行局部修正，而基础DLM继续承担内容生成。整个过程将安全干预嵌入原有去噪流程，而不需要重新训练主干模型。
实验：兼顾安全、能力与计算效率
对越狱攻击的防御

图5：安全防御性能的综合评估。表中报告攻击成功率，每个模型组内的最优和次优结果分别以加粗和下划线标注。

实验覆盖LLaDA-8B-Instruct、Dream-v0-Instruct-7B与LLaDA-1.5，以及WildJailbreak、JBB-Behaviors、HarmBench、PAD-AdvBench和DIJA-AdvBench五个攻击基准。CURE在三个模型上均取得所比较方法中最低的平均攻击成功率(ASR)，平均 ASR从47.20%降至1.36%，对依赖早期锚点引导的PAD、DIJA攻击尤其有效。
安全与功能性的帕累托前沿对比

图6：不同防御方法的安全性与通用能力权衡对比。蓝色虚线表示所有对比方法在安全性与通用能力之间的帕累托前沿。

在MMLU与GSM8K上，CURE基本保持基础模型的原有能力，并在所比较方法中位于安全与效用的Pareto前沿。例如，LLaDA-8B-Instruct的防御成功率从51.00%提升至98.17%，两个能力基准的平均准确率从65.68%提升至68.48%。这些结果支持了选择性局部修正兼顾安全与能力保持的可行性。
推理阶段计算开销对比

图7：推理时计算开销对比。

在LLaDA-8B-Instruct、生成长度128、去噪步数64的计算评估设置下，基础生成计算量为126.29TFLOPs，CURE额外增加0.84TFLOPs，约0.7%。同条件下，SRIGuard与DiffuGuard报告的额外计算量分别为252.58和130.24TFLOPs。这一结果体现了缓存表征与轻量读出的效率优势。
总结与展望：从词元级安全修正到生成过程控制

CURE利用扩散语言模型中间状态的可编辑性，将安全干预前移至去噪过程。其核心思路是，词元的风险不仅取决于自身语义，更取决于它对后续生成的影响。通过预测中间状态的未来风险、定位并选择性重掩码致险词元，CURE能够在保留其他已填内容的同时修正局部生成决策，再由原模型继续完成生成。这表明，DLM的重掩码机制不仅可以用于生成内容，也可以用于修正可能导致不安全响应的中间决策，为低开销的测试时安全对齐提供了新的思路。

沿着这一思路，未来可以从两个方向进一步探索。一是从词元级修正扩展到语义级修正，将风险归因与干预对象拓展至语义片段或推理步骤，识别跨词元依赖形成的组合风险，实现更具语义完整性的局部修正。二是从安全对齐扩展到多约束生成控制，将事实性、逻辑一致性等目标纳入中间状态评估，研究局部生成决策对不同目标的长期影响，并通过选择性修正协调多种约束。这些方向有望进一步发挥DLM中间状态的可编辑性，使生成过程中的局部修正成为更通用的推理时控制手段。

面向通用人工智能持续演进带来的复杂安全挑战，智源研究院将持续深耕人工智能安全研究，积极携手国内外高校、科研机构及产业界伙伴，围绕模型安全对齐、风险评估与生成过程控制等关键方向开展长期探索与协同攻关，推动人工智能安全从输出结果防护向生成全过程的主动控制演进。通过持续的技术创新与开放协作，为构建更加安全、可信、可控的人工智能技术体系贡献智源力量。


内容中包含的图片若涉及版权问题，请及时与我们联系删除