Text Embedding Inversion Attacks on Multilingual Language Models

将文本信息表示为实数嵌入已经成为自然语言处理中的常规做法。此外，随着公众对大型语言模型（LLM）的兴趣日益增长，嵌入式服务（EaaS）作为商业模式迅速获得了广泛关注。但是，此举并非没有突出的安全风险，因为先前的研究表明，即使不知道生成它们的基础模型，也可以从嵌入中重构敏感数据。然而，这样的研究仅关注英语，使得其他所有语言都容易受到恶意行为者的攻击。由于许多国际和多语言公司利用EaaS，因此迫切需要研究多语言LLM安全性。为此，本研究从多语言嵌入反演的角度研究LLM安全性。具体而言，我们定义了黑盒多语言和跨语言反演攻击的问题，并特别关注跨领域场景。我们的研究结果表明，与单语言模型相比，多语言模型潜在更容易受到反演攻击。这是由于在不预先知道基础语言的情况下，即使数据要求降低，也可以实现相当的反演性能。据我们所知，本研究是首个探讨反演攻击背景下的多语言性的研究，我们的研究结果强调了在NLP安全领域需要进一步研究和加强防御的必要性。

研究多语言大语言模型（LLM）的安全性，特别是从多语言和跨语言倒推嵌入的角度，揭示多语言模型比单语言模型更容易受到攻击的潜在风险。

通过定义黑盒多语言和跨语言倒推攻击问题，研究了多语言LLM的安全性，发现在不知道底层语言的情况下，实现可比较的倒推性能所需的数据要求较少，因此多语言模型比单语言模型更容易受到攻击。

论文是第一篇探讨多语言情况下嵌入逆推的研究，实验结果强调了需要进一步研究和加强NLP安全领域的防御。论文使用了多个数据集进行实验，并开源了代码。

最近的相关研究包括：'BERT纠正：从错误到正确'， '基于神经网络的文本生成模型的安全性评估'， '多语言BERT的跨语言性能'等。