Differential Privacy of Cross-Attention with Provable Guarantee

交叉注意力现在已成为许多重要的人工智能应用程序中的基本模块，例如检索增强生成（RAG）、系统提示、引导稳定扩散等等。确保交叉注意力的隐私安全至关重要且迫切需要，因为其键和值矩阵可能包含有关公司及其用户的敏感信息，其中许多仅从其系统提示或RAG数据中获利。在本研究中，我们设计了一种新的差分隐私（DP）数据结构，以解决交叉注意力的隐私安全问题，并具有理论保证。具体而言，设$n$为系统提示/RAG数据的输入令牌长度，$d$为特征维度，$0 < \alpha \le 1$为相对误差参数，$R$为查询和键矩阵的最大值，$R_w$为值矩阵的最大值，$r,s,\epsilon_s$为多项式核方法的参数。然后，我们的数据结构需要$\widetilde{O}(ndr^2)$的内存消耗，$\widetilde{O}(nr^2)$的初始化时间复杂度和$\widetilde{O}(\alpha^{-1} r^2)$的查询时间复杂度，以进行单个令牌查询。此外，我们的数据结构可以保证用户查询是$(\epsilon, \delta)$-DP，具有$\widetilde{O}(n^{-1} \epsilon^{-1} \alpha^{-1/2} R^{2s} R_w r^2)$的加性误差和我们的输出与真实答案之间的$n^{-1} (\alpha + \epsilon_s)$相对误差。此外，我们的结果对自适应查询具有鲁棒性，其中用户可以有意攻击交叉注意力系统。据我们所知，这是首次为交叉注意力提供DP。我们相信它可以激发更多大型生成模型（LGMs）的隐私算法设计。

本文旨在解决跨注意力模块中的隐私安全问题，设计了一种新的差分隐私数据结构，并提供了理论保证。

本文的关键思路是设计一种差分隐私数据结构，用于保护跨注意力模块中的敏感信息，并提供理论保证。该数据结构具有较小的内存消耗和查询时间复杂度，并能够应对用户的恶意查询。

本文提出的差分隐私数据结构具有较小的内存消耗和查询时间复杂度，并能够应对用户的恶意查询。实验结果表明，该数据结构能够保护跨注意力模块中的敏感信息，并提供了理论保证。此外，该研究还是首个提供跨注意力模块差分隐私解决方案的研究。

最近的相关研究包括差分隐私在其他机器学习模型中的应用，以及隐私保护技术的改进。例如，论文《Differentially Private Learning with Kernels》和《Differentially Private Data Release through Kernel-based Generalization》等。