LeftoverLocals: Listening to LLM Responses Through Leaked GPU Local Memory

本文介绍了一种名为LeftoverLocals的漏洞，它允许在苹果、高通和AMD GPU上创建的另一个进程中恢复GPU内存中的数据。LeftoverLocals影响GPU应用程序的安全性，对于在受影响的GPU上运行的LLMs和ML模型具有特别重要的意义。通过恢复本地内存，即优化的GPU内存区域，我们构建了一个PoC，攻击者可以在跨进程或容器边界时监听另一个用户的交互式LLM会话（例如llama.cpp）。

该论文探讨了一种名为LeftoverLocals的漏洞，该漏洞允许从其他进程创建的GPU内存中恢复数据。这会影响GPU应用程序的安全性，特别是在受影响的GPU上运行的LLMs和ML模型的安全性。作者试图验证这个漏洞是否存在以及它对安全性的影响。

论文的关键思路是通过恢复本地内存，即优化的GPU内存区域，建立一个PoC，使攻击者可以跨进程或容器边界监听另一个用户的交互式LLM会话。

该论文的亮点在于发现了一个新的漏洞，并提供了一个PoC来证明该漏洞的存在。实验设计了一个方法来恢复GPU内存中的数据。该论文还提出了一些建议来加强GPU应用程序的安全性。

最近的相关研究包括：1.《GPU内存攻击：分析和缓解策略》；2.《基于GPU的侧信道攻击的探究》；3.《GPU内存漏洞的检测和修复》。