Better Together: Leveraging Unpaired Multimodal Data for Stronger Unimodal Models

传统的多模态学习方法为视觉问答等任务寻找统一的表征，但严重依赖成对的多模态数据集。然而，一个被忽视却可能极具潜力的问题是：能否利用辅助的非配对多模态数据，直接增强目标模态中的表征学习？我们提出了UML（Unpaired Multimodal Learner，非配对多模态学习器），这是一种与具体模态无关的训练范式，其中单个模型在不同模态的输入之间交替处理，并在各模态间共享参数。该设计基于不同模态是同一潜在现实的不同投影这一假设，使模型能够在无需显式配对数据的情况下，受益于跨模态的结构信息。理论上，在线性数据生成假设下，我们证明了使用非配对的辅助数据所得到的表征，相比单模态训练能更充分地反映数据生成过程的信息。实验上，我们表明，利用来自文本、音频或图像等辅助模态的非配对数据，能够持续提升在图像和音频等多种单模态下游任务上的性能表现。我们的项目主页：https://unpaired-multimodal.github.io/

论文试图解决在缺乏配对多模态数据的情况下，如何利用未配对的多模态数据来增强目标模态的表示学习。传统多模态模型依赖于成对数据（如图像-文本对），但在许多实际场景中获取高质量配对数据成本高昂且困难。因此，探索仅使用未配对的跨模态数据（例如单独的图像、文本或音频）来提升单模态任务性能是一个重要而尚未充分研究的问题。

提出UML（Unpaired Multimodal Learner），一种模态无关的训练范式，通过一个共享参数的单一模型交替处理不同模态的输入，从而在无需显式配对的前提下挖掘跨模态结构。其核心假设是：不同模态是同一潜在现实的不同投影，因此即使在未配对的情况下，联合训练也能提升各模态的表示质量。相比以往必须依赖配对数据的多模态方法，该思路打破了数据形式的限制，为更灵活、低成本的多模态学习提供了新路径。

理论层面，在线性生成假设下证明了未配对辅助数据能产生比纯单模态训练更具信息量的表示；实验上，在图像、音频等多种目标模态下游任务中验证了使用文本、音频或图像等未配对辅助数据的一致性能提升；模型设计模态无关，具有良好的通用性和扩展性；项目已开源，代码和资源可在 https://unpaired-multimodal.github.io/ 获取；未来可深入探索非线性设定下的理论边界、更多模态组合以及在低资源场景中的应用潜力。

1. Learning from Unpaired Data in Multimodal Machine Learning: A Review 2. Cross-Modal Self-Supervised Learning with Unpaired Data 3. UniBench: A Unified Framework for Evaluating Self-Supervised Representation Learning 4. Momentum Contrast for Unsupervised Visual Representation Learning 5. AudioText-Image Retrieval via Cross-Modal Contrastive Learning without Paired Data