Unvalidated Trust: Cross-Stage Vulnerabilities in Large Language Model Architectures

随着大语言模型（LLM）越来越多地被集成到自动化的多阶段处理流程中，因各处理阶段之间存在未经验证的信任而引发的风险模式正成为一个现实问题。本文提出了一种以机制为中心的分类体系，归纳了商业大语言模型中存在的41种反复出现的风险模式。分析表明，输入内容常常得不到中立的处理，即使没有明确指令，也可能触发与实现方式相关的响应或意外的状态变更。我们认为，这些行为属于架构层面的失效模式，仅靠字符串级别的过滤无法充分应对。为缓解此类跨阶段漏洞，我们建议采用零信任架构原则，包括来源强制、上下文隔离和计划重新验证，并提出了“对抗思维”（Countermind）这一概念性蓝图，用以指导上述防御机制的实施。

随着大语言模型（LLMs）被广泛集成到多阶段自动化流程中，各处理阶段之间因缺乏验证的信任而引发的风险模式成为一个现实且紧迫的问题。论文指出，当前系统往往假设输入是中立的，但实际上输入可能触发非预期的状态变化或实现依赖型响应，即使没有明确指令。这类问题构成系统架构层面的失效模式，而传统的字符串级过滤无法有效应对。这是一个日益重要但尚未被充分系统化分析的新问题。

论文提出一种以机制为中心的分类法，系统归纳了41种在商业LLM中反复出现的风险模式，并主张这些行为属于架构性缺陷，需从系统设计层面而非仅靠内容过滤来解决。关键创新在于引入‘零信任’架构原则，包括来源追踪（provenance enforcement）、上下文隔离（context sealing）和计划重验证（plan revalidation），并提出‘Countermind’作为实现此类防御的抽象架构蓝图。

论文通过对真实商业LLM系统的深入分析，识别出41个可复现的风险模式，强调了模型对输入的非中立解释所带来的深层安全隐患。实验设计基于多阶段代理流程中的交互场景，揭示了隐式状态变更和实现依赖响应的现象。虽然未提及具体开源代码，但提出的‘Countermind’框架为后续安全架构设计提供了清晰方向，值得进一步工程实现与标准化。此外，该工作呼吁将LLM系统视为复杂软件系统，推动安全研究从提示工程向系统架构演进。

1. 'Language Models are Few-Shot Learners' by Brown et al., 2020 2. 'The Alignment Problem: Machine Learning and Human Values' by Brian Christian, 2020 3. 'Trust but Verify: Risks from Untrusted LLM Outputs in Software Systems' by Kaur et al., 2023 4. 'Systematic Evaluation of LLM Agent Failures' by Li et al., 2024 5. 'Towards Zero-Trust Architectures for AI Systems' by Zhang & Chen, 2023