Propensity Score Alignment of Unpaired Multimodal Data

多模态表示学习技术通常依赖于成对样本来学习共同的表示，但是在生物学等领域，测量设备经常会破坏样本，因此很难收集成对样本。本文提出了一种方法来解决多模态表示学习中跨不同模态对齐非配对样本的挑战。我们将因果推断中的潜在结果与多模态观测中的潜在视图进行类比，从而利用Rubin的框架来估计一个共同的空间以匹配样本。我们的方法假设我们收集的样本是通过处理实验进行实验干扰的，并利用此来估计每种模态的倾向得分，该得分包含潜在状态和处理之间的所有共享信息，并可用于定义样本之间的距离。我们尝试了两种利用这种距离的对齐技术——共享最近邻（SNN）和最优传输（OT）匹配，并发现OT匹配在合成多模态设置和NeurIPS多模态单细胞整合挑战的真实世界数据中都比现有技术的对齐方法有显著的改进。

如何在多模态表示学习中对齐不成对的样本？

使用因果推断中的潜在结果和处理概念，估计每个模态的倾向性分数，并使用此分数定义样本之间的距离，然后使用最优传输匹配或共享最近邻方法对样本进行对齐。

论文提出了一种新的方法来解决多模态表示学习中的对齐问题，该方法使用因果推断中的概念，并在合成和真实数据集上进行了实验验证。最优传输匹配方法的效果优于现有的对齐方法。

最近的相关研究包括使用生成对抗网络（GAN）和变分自编码器（VAE）等方法进行多模态表示学习的论文。