Comparing information content of representation spaces for disentanglement with VAE ensembles

Disentanglement是使用机器学习将数据集的信息分解为有意义的片段的努力。实际上，这些片段是表示（子）空间，通常是变分自动编码器（VAE）的潜在空间中的通道集合。对于解缠的评估主要采用粗粒度的模型级指标，但这种方法可能会掩盖有关信息分解过程的许多内容。因此，我们提出了一种研究学习通道的方法，作为重复训练运行学习到的信息片段的集合。此外，我们不同于以前的工作，以前的工作中，个别子空间之间的相似度度量忽略了数据嵌入的概率分布特性。相反，我们将表示子空间视为执行数据的软聚类的通信通道。因此，我们将两个经典信息论相似度度量推广到比较表示空间。我们开发了一种基于指纹的表示子空间估计轻量方法，通过其区分数据集样本的能力来识别，分析和利用在合成和自然数据集上训练的VAE集合中有意义的结构。使用这种完全无监督的管道，我们在信息片段空间中识别“热点”：在VAE集合中反复出现的几乎相同的表示子空间组，特别是在增加正则化时。最后，我们利用所提出的方法来实现VAE的集合学习，提高一组弱学习器的信息内容，这是以前评估通道相似性的方法所不可能的。

本论文旨在研究如何评估机器学习模型中信息分离的效果，并提出了一种新的方法来比较表示子空间之间的相似性。

本论文提出了一种基于集成学习的轻量级方法，通过指纹表示子空间的能力来识别、分析和利用信息片段空间中的有意义的结构，并使用该方法来实现VAE的集成学习。

论文使用了集成学习的方法来评估机器学习模型中信息分离的效果，并提出了一种新的方法来比较表示子空间之间的相似性。实验使用了合成和自然数据集，并开源了代码。论文还发现了信息片段空间中的热点区域，并证明了集成学习可以提高弱学习器的信息内容。

在这个领域中，最近的相关研究包括：《A Review of Disentanglement Methods: Taxonomy, Applications, and Open Problems》、《Disentangling by Factorising》、《Learning Deep Latent Gaussian Models with Markov Chain Monte Carlo》等。