Tripod: Three Complementary Inductive Biases for Disentangled Representation Learning

归纳偏差对于解决未明确规定的解集非常重要，特别是在分离表示学习中。本文考虑向神经网络自编码器引入三种归纳偏差：通过量化将数据压缩到类似网格的潜空间中进行数据压缩，潜在空间中的集体独立性以及任何潜在变量对于其他潜在变量决定数据生成的影响最小。原则上，这些归纳偏差是互补的，它们分别最直接地指定了潜在空间、编码器和解码器的属性。然而，在实践中，简单地组合现有技术实现这些归纳偏差并不能产生显著的效果。为了解决这个问题，我们提出了三种技术的改进，简化了学习问题，为关键的正则化项提供了稳定的不变性，并抑制了退化的激励。最终的模型“三脚架”在四个图像分离基准测试中实现了最先进的结果。我们还验证了“三脚架”显著改进了其简单版本，并且其三个“支柱”都对于最佳性能是必要的。

论文旨在通过在神经网络自编码器中引入三个归纳偏差来实现分离表示学习，解决低度规范化解决方案集问题。

通过量化将数据压缩到类似网格的潜空间中，实现潜变量的集体独立性和最小的功能影响，从而提高模型的性能。

论文提出的模型Tripod在四个图像分离基准测试中取得了最先进的结果。实验结果表明，Tripod相比于基线模型有显著的提升。

最近的相关研究包括：Disentangling by Factorising，Deep Variational Information Bottleneck，Learning Disentangled Representations with Semi-Supervised Deep Generative Models等。