信息瓶颈是一种从源数据中提取出与任务目标有关信息的方法，一般通过优化权衡压缩项和预测项的 IB Lagrangian 来实现。现有文献已经指出 IB Lagrangian 存在的一些问题，比如期望的压缩水平与控制权衡的 Lagrangian 乘子之间没有因果关联，因此对于 IB Lagrangian 来说需要多次尝试优化来实现期望目标。

研究者在文中具体分析了 IB Lagrangian 中存在的权衡问题，表明随着压缩程度增大，预测性能严格减小。为了克服这些问题，研究者一方面期望在不损害预测性能的前提下能够实现最大化压缩，简称为「最大化压缩」；另一方面期望无需多次尝试优化，即模型能够一致地实现最大化压缩。

为此，研究者首先考察了最大化压缩实现时对应的量化条件，之后对优化目标给出了最大化压缩一致性的性质定义，即只要优化目标满足该性质就能够一致地实现最大化压缩。在此基础上，研究者给出自己的方案设计。

与现有的 IB Lagrangian 不同，研究者从有监督解耦的角度来实现信息压缩，这是因为他们认为信息压缩与有监督解耦本质上是同一回事：在有监督解耦任务中，需要将源数据中与给定标签有关的信息和其它信息分开，如给定图像的类别标签，将图像信息解耦为类别有关的和类别无关的信息；而类似地，在信息压缩任务中，要将源数据中与给定标签无关的信息丢弃从而实现压缩，同样需要区分出与给定标签有关的信息和与给定标签无关的信息。

基于此，研究者将有监督解耦与信息压缩相联系，提出了基于解耦的信息瓶颈算法。研究者给出了一些结论，同时在多个数据集上验证了这些结论，并验证了所提方法在包括信息压缩等多个评估指标上的性能。本文已被 AAAI 2021 会议接收。 论文标题： Disentangled Information Bottleneck

论文作者： Ziqi Pan / Li Niu / Jianfu Zhang / Liqing Zhang

论文链接： http://www.paperweekly.site/papers/4771

内容中包含的图片若涉及版权问题，请及时与我们联系删除