Emergent Interpretable Symbols and Content-Style Disentanglement via Variance-Invariance Constraints

我们提出了一种无监督的方法，能够有效地从原始观测数据中学习，并将其潜在空间分解为内容和风格表示。与大多数依赖于特定领域标签和知识的分解算法不同，我们的方法基于内容和风格之间的领域通用统计差异的洞见。内容在样本内的不同片段之间变化更多，但在数据样本之间保持不变的词汇，而风格在样本内保持相对不变，但在不同样本之间表现出更大的变化。我们将这种归纳偏差融入编码器-解码器架构中，并将我们的方法命名为V3（方差与不变性）。实验结果表明，V3在不同模态的两个不同领域中具有普适性，音乐音频和手写数字图像，成功地学习了音高-音色和数字-颜色的分解。此外，分解的鲁棒性明显优于基线无监督方法，并且甚至可与监督方法相媲美。此外，在内容的学习码本中出现了符号级可解释性，形成了机器表示和人类知识之间的近乎一一对应的关系。

本文旨在提出一种无监督的方法，从原始观测数据中有效地学习并将其潜在空间分解为内容和风格表示。这种方法试图解决的问题是如何在没有领域特定标签和知识的情况下进行内容和风格的分离。

本文的关键思路是利用内容和风格之间的统计差异来进行无监督的分离。具体而言，内容在样本内的不同片段之间变化更大，但在数据样本之间保持不变，而风格在样本内相对不变，但在不同样本之间表现出更大的变化。作者将这种归纳偏差融入到编码器-解码器架构中，称其为V3（方差与不变性），并在音乐音频和手写数字图像两个不同的领域中成功地学习了内容和风格的分离。

本文的亮点包括：1. 采用无监督的方法进行内容和风格的分离，相比当前领域的研究更具有普适性；2. 实验结果表明，V3在两个不同领域中都能成功地学习内容和风格的分离，且在鲁棒性方面表现出色；3. 通过学习到的内容码本，可以实现符号级的可解释性，与人类知识的一一对应关系。作者还公开了代码和数据集。

在这个领域中，最近的相关研究包括：1. FactorVAE: Learning to disentangle factors of variation with a variational autoencoder；2. β-VAE: Learning basic visual concepts with a constrained variational framework；3. InfoGAN: Interpretable representation learning by information maximizing generative adversarial nets。