Differentiable Information Bottleneck for Deterministic Multi-view Clustering

近几年来，信息瓶颈（IB）原理为深度多视角聚类（MVC）提供了一个信息论框架，通过压缩多视角观察结果并保留多视角的相关信息来实现。尽管现有的基于IB的深度MVC方法取得了巨大成功，但它们依赖于变分近似和分布假设来估计互信息的下限，这在高维多视角空间中是一个非常困难和不切实际的问题。在这项工作中，我们提出了一种新的可微信息瓶颈（DIB）方法，通过拟合互信息来提供确定性和分析性的MVC解决方案，而无需变分近似。具体来说，我们首先提出利用归一化的核Gram矩阵直接拟合高维空间的互信息，这不需要任何辅助神经估计器来估计互信息的下限。然后，基于新的互信息测量，我们明确地训练了一个确定性的多视角神经网络来参数化IB原理，从而从不同视角导出输入变量的确定性压缩。最后，我们设计了一个三元一致性发现机制，它能够基于确定性和紧凑的表示挖掘特征一致性、聚类一致性和联合一致性。广泛的实验结果表明，与13个最先进的基线相比，我们的DIB方法在6个基准测试上具有优越性。

本论文旨在提出一种新的可微分信息瓶颈方法，以解决高维多视角聚类中的信息压缩问题，同时避免了传统方法中需要估计互信息下界的问题。

本文提出了一种基于归一化核 Gram 矩阵的互信息度量方法，可以直接拟合高维空间中的互信息，从而避免了传统方法中需要使用辅助神经估计器来估计互信息下界的问题。此外，还提出了一种三元组一致性发现机制，可以挖掘基于确定性和紧凑表示的特征一致性、簇一致性和联合一致性。

本文提出的 DIB 方法在 6 个基准测试上与 13 种现有方法相比具有优越性。实验中使用的数据集、代码等都有详细说明，值得深入研究。

最近的相关研究包括《Multi-View Clustering via Deep Matrix Factorization》、《Deep Multi-View Clustering with Inter-View Transformation》等。