UCL & Google | Variational Autoencoders and Nonlinear ICA: A Unifying Framework (AISTATS 2020)

简介：VAE的框架能够高效地学习到深度的隐变量模型，使得模型在观测变量上的边际分布能够符合数据。而人们往往很感兴趣的是再向前走一步，想要近似估计出观测变量和隐变量上的真实联合分布，包括隐变量上的真实的先验和后验分布。由于模型的不可识别性，这通常被认为是不可能做到的。本文对此的处理方法是：对于一族深度隐变量模型，观测变量和隐变量的真实联合分布的识别实际上取决于一些很简单的变换，这样一来就能够取得有效的解耦形式。本文的结果显示，需要在给定某个额外的观测变量为条件时，隐变量上的先验分布可分解，这一额外变量可以是类别标签或者几乎任意一种其他观测。我们基于非线性ICA，将其拓展到了带有噪声的、欠完备的、离散的观测，整合到了极大似然的框架中。这一结果也包含了可识别的基于流的生成式模型作为一种特殊情况。