Latent Space Translation via Inverse Relative Projection

相似表示在独立训练的神经模型之间的出现引起了表示学习社区的极大兴趣，导致各种方法的发展，以获得潜在空间之间的通信。通过两种方式可以实现“潜在空间通信”：i）通过独立地将原始空间映射到共享或相对空间；ii）通过直接估计从源潜在空间到目标空间的转换。在本文中，我们将这两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过形式化保角相对表示的可逆性并假设神经模型中解码器模块的尺度不变性，我们可以有效地使用相对空间作为中介，独立地投影到其他语义相似的空间并从中投影出来。在各种架构和数据集上进行的广泛实验验证了我们的尺度不变性假设，并证明了我们的方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零样本拼接，甚至跨模态。我们的方法具有通过组合性实现模型重用的重要潜力。

本文试图通过相对空间来实现潜空间翻译，解决不同神经模型间的通信问题，以及在跨模态情况下零样本拼接的问题。

本文提出了一种新的方法来实现潜空间翻译，通过相对空间作为中介，将不同的潜空间映射到共享的相对空间上，并在其中进行投影和反投影。

本文的方法在多种体系结构和数据集上进行了广泛实验，并验证了其高精度的潜空间翻译。此外，本文还将该方法应用于跨模态情况下的零样本拼接，取得了很好的效果。

与本文相关的研究包括GAN、VAE、CycleGAN等模型在潜空间翻译方面的应用。