Preventing Model Collapse in Gaussian Process Latent Variable Models

高斯过程潜变量模型（GPLVMs）是一种多才多艺的无监督学习模型，通常用于降维。然而，使用GPLVMs建模数据时常见的挑战包括核函数灵活性不足和投影噪声选择不当，导致一种模型崩溃，主要表现为模糊的潜在表示，不能反映数据的基本结构。本文首先从线性GPLVM的角度理论上研究了投影方差对模型崩溃的影响。其次，我们通过集成谱混合（SM）核和可微随机傅里叶特征（RFF）核逼近来解决由于核函数灵活性不足导致的模型崩溃问题，这确保了在变分推理框架内通过现成的自动微分工具学习核超参数、投影方差和潜在表示的计算可扩展性和效率。所提出的GPLVM模型名为advisedRFLVM，在各种数据集上进行了评估，始终优于各种突出的竞争模型，包括最先进的变分自动编码器（VAEs）和GPLVM变体，具有信息丰富的潜在表示和缺失数据插补的优点。

本论文旨在解决使用GPLVMs建模数据时遇到的核函数灵活性不足和投影噪声选择不当等问题，导致模型崩溃的挑战。

该论文提出了一种新的GPLVMs模型，命名为advisedRFLVM，通过集成SM核和可微分的RFF核逼近来解决核函数灵活性不足的问题，并在变分推理框架内使用自动微分工具来学习核超参数、投影方差和潜在表示，以解决投影噪声选择不当的问题。

该论文在多个数据集上对advisedRFLVM进行了评估，并与多个竞争模型进行了比较，包括最先进的VAEs和GPLVM变体。实验结果表明，advisedRFLVM在提供信息的潜在表示和缺失数据插值方面始终优于其他模型。

最近在这个领域中，还有一些相关研究，如：'A Unifying Review of Linear Gaussian Models'，'Variational Inference for Gaussian Process Models with Linear Complexity'，'Deep Gaussian Processes'等。