A Comprehensive Survey in LLM(-Agent) Full Stack Safety: Data, Training and Deployment

大型语言模型（LLMs）的显著成功为学术界和工业界实现通用人工智能（AGI）开辟了一条充满希望的道路，这得益于它们在各种应用中表现出的前所未有的性能。随着 LLMs 在研究和商业领域的重要性日益增加，其安全性和可靠性问题也引起了越来越多的关注，这不仅涉及研究人员和企业，还关系到每一个国家。目前，关于 LLM 安全性的现有综述主要集中在 LLM 生命周期中的特定阶段，例如部署阶段或微调阶段，缺乏对整个“生命周期链”的全面理解。 为弥补这一空白，本文首次引入了“全栈”安全的概念，系统地考虑了 LLM 从训练、部署到最终商业化的整个过程中的安全性问题。与现有的 LLM 安全综述相比，我们的工作具有以下几个显著优势：(I) 全面视角。我们将完整的 LLM 生命周期定义为包括数据准备、预训练、后训练、部署以及最终商业化等阶段。据我们所知，这是首个涵盖 LLM 整个生命周期的安全性综述。(II) 广泛的文献支持。我们的研究基于对超过 800 篇论文的详尽回顾，确保了对安全问题的全面覆盖和系统化组织，提供了更整体的理解。(III) 独特见解。通过系统的文献分析，我们为每个章节制定了可靠的研究路线图和视角。我们的工作指出了多个有前景的研究方向，包括数据生成中的安全性、对齐技术、模型编辑以及基于 LLM 的代理系统。这些见解为未来从事该领域研究的学者提供了宝贵的指导。

该论文试图解决大型语言模型（LLM）在全生命周期中的安全性和潜在风险问题，包括数据准备、预训练、后训练、部署和商业化阶段的安全隐患。这确实是一个新问题，因为现有研究通常只关注LLM生命周期的特定阶段而非整体。

论文提出了一种名为“全栈”安全的新概念，系统性地分析了整个LLM生命周期的安全挑战，并从数据生成、对齐技术、模型编辑和基于LLM的代理系统等多个角度提供了深入探讨。相比当前的研究状况，这篇论文首次覆盖了LLM的完整生命周期，填补了全面性分析的空白。

论文通过综合分析800多篇文献，为每个阶段的安全问题提供了详细的分类和解决思路，同时指出了未来的研究方向，如数据生成的安全性、先进的对齐技术和模型编辑方法。此外，论文还强调了LLM在实际应用中的安全性需求，具有很强的实践指导意义。虽然文中未提及实验设计或开源代码，但其系统性的文献综述和清晰的框架为后续研究提供了坚实的基础。

近期相关研究包括：1)《On the Safety of Instruction-Tuned Language Models》探讨了指令调优对模型安全性的影响；2)《Adversarial Attacks and Defenses in Large Language Models》研究了对抗攻击对LLM的威胁；3)《Risks and Mitigations in Deploying LLMs》专注于LLM部署阶段的风险管理；4)《Fine-tuning Large Language Models for Safe Dialogue Systems》讨论了对话系统的安全性优化。这些研究共同构成了LLM安全领域的基础，但大多局限于特定阶段，缺乏全局视角。