Harnessing the Universal Geometry of Embeddings

我们提出了一种无需任何配对数据、编码器或预定义匹配集的方法，可以将文本嵌入从一个向量空间转换到另一个向量空间。我们的无监督方法能够将任意嵌入翻译为一种通用的潜在表示（即由柏拉图表示假设推测出的通用语义结构）。我们的翻译方法在具有不同架构、参数数量和训练数据集的模型对之间实现了较高的余弦相似度。 将未知嵌入转换到另一空间的同时保持其几何特性，这对向量数据库的安全性带来了严重的影响。仅拥有嵌入向量访问权限的攻击者，可以提取有关底层文档的敏感信息，这些信息足以用于分类和属性推断。

该论文试图解决如何在没有配对数据、编码器或预定义匹配集的情况下，将文本嵌入从一个向量空间翻译到另一个向量空间的问题。这是一个新问题，特别是在跨不同架构、参数数量和训练数据集的模型之间实现高保真度的语义翻译。

论文提出了一种无监督方法，通过将任何嵌入转换为通用潜在表示（基于柏拉图式表征假设的通用语义结构）来实现跨空间翻译。这种方法不依赖于配对数据或特定映射规则，而是直接操作嵌入的空间几何特性，从而保持了跨模型对的高余弦相似性。

实验表明，该方法能够在不同架构和训练数据的模型之间实现高精度的嵌入翻译。此外，研究还讨论了这一技术可能带来的安全隐忧，例如敏感信息泄露的风险。论文未提及具体数据集或开源代码，但指出未来可以深入研究如何缓解这些安全风险，并探索更广泛的跨模态应用。

近期相关研究包括：1)《Unsupervised Cross-lingual Representation Learning for Text Embeddings》探讨了无监督跨语言嵌入对齐；2)《Mapping Between Different Neural Representations》研究了不同神经网络表征之间的映射；3)《On the Geometry of Semantic Spaces》分析了语义空间的几何特性。这些工作都与本论文的核心思想——跨空间语义对齐——密切相关。