Disentangled Representation Learning through Geometry Preservation with the Gromov-Monge Gap

在机器学习中，以无监督的方式学习解耦表示是一个基本的挑战。解决这个问题可能会解锁其他问题，例如泛化、可解释性或公平性。虽然通常情况下非常难以解决，但最近的研究表明，在利用几何约束（例如局部同构）的附加假设的情况下，解耦是可以被证明实现的。为了利用这些见解，我们提出了一种基于二次最优输运的解耦表示学习的新视角。具体而言，我们在Gromov-Monge的框架下制定了问题，该框架寻求在不同空间上支持的分布之间的等距映射。我们提出了Gromov-Monge-Gap（GMG）正则化器，该正则化器量化两个支持在不同空间上的分布之间的任意推前映射的几何保持性。我们在四个标准基准测试中展示了GMG正则化对于解耦的有效性。此外，我们展示了几何保持甚至可以鼓励无监督解耦，而无需标准重建目标——使底层模型无需解码器，并承诺更实用和可扩展的无监督解耦视角。

本文旨在通过提出一种新的基于二次最优传输的视角来解决无监督学习中的分离表示问题。同时，该方法还可以利用几何约束等附加假设来实现分离表示。

本文的关键思路是提出了一种基于二次最优传输的Gromov-Monge框架，通过量化两个不同空间上支持的分布之间的保持几何形状的映射来实现分离表示。

本文提出的方法在四个标准基准测试中表现出了很好的效果，并且证明了几何保持甚至可以在没有标准重构目标的情况下鼓励无监督分离表示。同时，该方法也具有实用性和可扩展性。

最近在这个领域中，已经有一些相关研究，如《Understanding disentangling in $eta$-VAE》、《$eta$-TCVAE: Learning Disentangled Representations in Deep Latent Spaces Using Mutual Information》等。