Wasserstein Wormhole: Scalable Optimal Transport Distance with Transformers

最优输运（OT）及其相关的Wasserstein度量（W）是比较分布的强大而普遍的工具。然而，随着队列大小的增长，计算成对Wasserstein距离迅速变得难以处理。一个有吸引力的替代方案是找到一个嵌入空间，在这个空间中，成对的欧几里得距离映射到OT距离，类似于标准的多维缩放（MDS）。我们提出了Wasserstein Wormhole，这是一个基于变压器的自编码器，将经验分布嵌入到一个潜在空间中，在这个空间中，欧几里得距离近似于OT距离。扩展MDS理论，我们展示了我们的目标函数意味着嵌入非欧几里得距离时所产生的误差上限。从经验上讲，Wormhole嵌入之间的距离与Wasserstein距离非常接近，使得可以线性时间计算OT距离。除了一个将分布映射到嵌入的编码器外，Wasserstein Wormhole还包括一个将嵌入映射回分布的解码器，允许在嵌入空间中进行的操作推广到OT空间，例如Wasserstein重心估计和OT插值。通过为OT方法提供可扩展性和可解释性，Wasserstein Wormhole为计算几何和单细胞生物学领域的数据分析开辟了新的途径。

本文旨在解决随着数据规模增长，计算Wasserstein距离变得不可行的问题，提出了一种基于自编码器的方法，将数据嵌入到一个空间中，使得欧几里得距离近似于OT距离。

Wasserstein Wormhole是一种基于自编码器的方法，可以将数据嵌入到一个低维空间中，使得欧几里得距离近似于OT距离。

该方法可以实现线性时间计算OT距离，从而提高了OT方法的可扩展性和可解释性，为计算几何和单细胞生物学等领域的数据分析开辟了新的研究方向。实验表明，Wasserstein Wormhole的嵌入结果与Wasserstein距离非常接近，还可以进行Wasserstein重心估计和OT插值等操作。

在该领域中，还有一些相关研究，如Wasserstein GAN、Sinkhorn AutoEncoder等。