On Affine Homotopy between Language Encoders

预训练语言编码器——将文本表示为向量的功能——是许多自然语言处理任务的重要组成部分。我们解决了语言编码器分析中的一个自然问题：两个编码器相似意味着什么？我们认为，一个忠实的相似度度量需要是内在的，即与任务无关，但仍然能够提供有关外在相似度的信息——即在下游任务中的表现。通常认为，如果两个编码器是\emph{同伦}的，即如果它们可以通过某些变换进行对齐，那么它们是相似的。在这个精神下，我们研究了语言编码器的\emph{仿射}对齐的属性及其对外在相似性的影响。我们发现，虽然仿射对齐本质上是一种不对称的相似性概念，但它仍然能提供有关外在相似度的信息。我们在自然语言表示数据集上进行了验证。除了提供有用的外在相似度界限外，仿射内在相似度还允许我们通过对编码器进行排序来开始揭示预训练编码器空间的结构。

研究语言编码器之间的相似度如何衡量才能更准确地反映它们在下游任务中的表现，提出了一种新的内在相似度度量方法。

提出了一种基于仿射变换的内在相似性度量方法，该方法能够准确地反映出语言编码器之间的相似度，并且可以帮助我们了解预训练编码器空间的结构。

实验结果表明，基于仿射变换的内在相似性度量方法不仅可以提供有用的下游任务表现上限，而且还可以定义语言编码器之间的顺序关系，这对于研究预训练编码器的结构非常有帮助。

与该论文相关的研究包括：《What Makes for Good Views for Contrastive Learning?》、《Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere》等。