斯坦福等｜基于潜量化的解缠

Disentanglement via Latent Quantization

Kyle Hsu, Will Dorrell, James C. R. Whittington, Jiajun Wu, Chelsea Finn
[Stanford University & University College London]

基于潜量化的解缠

要点：

• 动机：寻求一种更好的归纳偏差，以实现解缠表示学习中的解缠效果。通过观察到许多感兴趣的数据集都是以组合方式生成的，论文提出一种针对构成性编码和解码数据的归纳偏差，通过引入量化和模型正则化来实现。
• 方法：通过将潜空间量化为可学习的离散编码，应用异常高的权重衰减来强制引入严格的通信瓶颈，以推动模型向构成性编码和解码的策略靠拢。此外，论文还提出了基于信息论的新指标InfoMEC，用于评估解缠表示的模块性、明确性和紧凑性。 优势：通过潜空间量化和模型正则化显著改善了学习表示的模块性和明确性。在多个基准数据集上，量化潜空间自编码器(QLAE)在解缠表示的关键性能指标上持续超过之前的方法，并且不损害数据重建。

提出一种通过量化潜空间和模型正则化的方式实现解缠表示学习的方法，在多个基准数据集上取得了显著的改进。

https://arxiv.org/abs/2305.18378