Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications

大型语言模型（LLMs）的出现通过提供先进的自然语言处理能力，革新了各种应用。然而，这种创新也带来了新的网络安全挑战。本文探讨了针对LLM驱动应用的威胁建模和风险分析。我们重点关注数据污染、提示注入、SQL注入、越狱和组合注入等潜在攻击方式，评估它们对安全的影响并提出缓解策略。我们引入了一个结合了STRIDE和DREAD方法的框架，用于主动识别威胁和评估风险。此外，我们通过一个自定义的LLM驱动应用案例研究，检验了端到端威胁模型的可行性。这个模型遵循Shostack的四个问题框架，并针对LLMs所面临的独特威胁进行了调整。我们的目标是提出措施，增强这些强大的人工智能工具的安全性，防止攻击，并确保LLM集成系统的可靠性和完整性。

本文旨在针对使用大型语言模型（LLMs）的应用程序的威胁建模和风险分析，探讨数据污染、提示注入、SQL注入、越狱和组合注入等潜在攻击，并提出缓解策略。

本文提出了一个结合STRIDE和DREAD方法的框架，用于预防性威胁识别和风险评估，同时针对LLMs的独特威胁进行了Shostack的四个问题框架的调整。

本文通过一个自定义的LLM应用程序案例研究，评估了端到端威胁模型的可行性，探讨了如何增强这些强大的AI工具的安全性，防止攻击，确保LLM集成系统的可靠性和完整性。

最近的相关研究包括“大规模语言模型的隐私和安全风险”和“使用深度学习进行安全漏洞发现”的论文。