Disentangling shared and private latent factors in multimodal Variational Autoencoders

多模态数据生成模型可以识别与观察数据异质性重要决定因素相关的潜在因素。共同或共享因素可能对解释模态间变异很重要，而其他因素可能是私有的，仅对单个模态的解释很重要。多模态变分自编码器（如MVAE和MMVAE）是推断这些潜在因素并将共享变异与私有变异分离的自然选择。在这项工作中，我们研究了它们可靠地执行这种分离的能力。特别是，我们强调了一种具有挑战性的问题设置，其中模态特定变异占主导地位。从跨模态预测的角度出发，我们展示了现有模型的局限性，并提出了一种修改方法，使它们更能抵抗模态特定变异。我们的发现得到了对合成和各种真实多组学数据集的实验支持。

研究多模态数据的生成模型如何可靠地识别潜在因素并分离共享变化和私有变化，特别是在特定模态变化占主导的情况下。

通过改进现有的多模态变分自编码器，从跨模态预测的角度来展示其对模态特定变化的限制，并提出了一种改进方法使其更加鲁棒。

实验使用了合成数据和多个真实世界的多组学数据集，发现提出的改进方法在多种情况下都能提高模型的性能，值得进一步探索。

相关研究包括使用多模态变分自编码器处理多模态数据的其他工作，如MVAE和MMVAE。