多模态数据融合是将不同的数据源集成到一个适用于复杂推理的共享表示的过程。因此，人们可以对潜在现象做出比单独使用每个数据源更精确的推论。在论文中，我们采用贝叶斯观点的多模态数据融合，它将推理定义为对潜在变量的后验推理。在贝叶斯设置中，我们提出了一种新的数据集成方法，我们称之为轻量级数据融合(LDF)。LDF解决了数据源子集的正向模型未知或特征不佳的情况。LDF利用剩余的数据源学习适合后验推断的逆模型，该模型结合了这两种类型的数据。此外，我们开发了分层Dirichlet过程(mmHDPs)的多模态扩展，其中，与LDF的设置相比，我们缺乏跨模态的观察级对应，数据来自隐式潜在变量模型。最后，我们为Dirichlet过程和HDP混合模型开发了一种新颖的表示，可以在推理过程中实现并行化，并扩展到更复杂的模型，包括mmHDPs。

 

论文链接：https://dspace.mit.edu/handle/1721.1/144802

内容中包含的图片若涉及版权问题，请及时与我们联系删除