Understanding Privacy Risks of Embeddings Induced by Large Language Models

大型语言模型（LLMs）表现出人工通用智能的早期迹象，但存在幻觉问题。缓解这些幻觉的一个有前途的解决方案是将外部知识存储为嵌入，帮助LLMs进行检索增强生成。然而，这种解决方案存在危害隐私的风险，因为最近的研究实验表明，预训练语言模型可以从文本嵌入中部分重构原始文本。LLMs相对于传统预训练模型的显著优势可能加剧这些担忧。为此，我们研究了当使用LLMs时，从这些嵌入中重构原始知识和预测实体属性的有效性。实证结果表明，LLMs显著提高了两个评估任务的准确性，无论文本是分布内还是分布外。这凸显了LLMs危害用户隐私的潜在风险，强调了它们广泛使用的负面后果。我们进一步讨论了缓解这种风险的初步策略。

研究如何减轻大型语言模型（LLMs）的幻觉问题，并探讨使用嵌入式外部知识的风险，从而保护用户隐私。

使用LLMs能够显著提高预测实体属性和重构原始知识的准确性，但同时也增加了用户隐私泄露的风险。

实验结果表明，使用LLMs可以在两个任务上显著提高预测准确性，无论文本是否在分布范围内。然而，这也加剧了用户隐私泄露的风险。研究者提出了一些初步的策略来减轻这种风险。

最近的相关研究包括：《大规模语言模型的隐私问题》、《使用嵌入式知识来减轻LLMs的幻觉问题》等。