Promoting cross-modal representations to improve multimodal foundation models for physiological signals

许多医疗应用本质上是多模态的，涉及多种生理信号。随着这些信号传感器的普及，改进用于多模态医疗数据的机器学习方法变得至关重要。预训练基础模型是一条有前景的成功途径。然而，医疗领域中开发基础模型的方法仍处于早期探索阶段，鉴于生理信号的多样性，尚不清楚哪种预训练策略最有效。这在一定程度上是由于多模态健康数据的挑战：获取大量患者的多模态数据既困难又昂贵，个体间差异很大，而且不同下游任务中的模态信息往往是异质性的。本文中，我们在PhysioNet 2018数据集上探讨了这些挑战。我们使用掩码自编码目标来预训练一个多模态模型。我们展示了该模型可以学习到能够通过线性探针应用于多种下游任务的表示。我们假设跨模态重建目标对于成功的多模态训练非常重要，因为它们促使模型在不同模态之间整合信息。我们证明了在输入空间中使用模态dropout可以提高下游任务的性能。我们还发现，使用对比学习目标预训练的后期融合模型在多个任务上的效果较差。最后，我们分析了模型的表示，显示注意力权重在我们的预训练策略下变得更加跨模态且时间对齐。学习到的嵌入也变得更加分布式，每个单元编码的模态更加多样化。总体而言，我们的工作展示了多模态基础模型在医疗数据中的实用性，即使在多样化的生理数据源中也是如此。我们进一步认为，明确的方法来诱导跨模态性可能会增强多模态预训练策略。

论文试图解决在多模态健康数据中开发基础模型的方法问题，特别是如何有效预训练这些模型以处理不同生理信号的多样性。这是一个相对较新的问题，因为虽然单模态数据的基础模型已经取得了一些进展，但在多模态健康数据上的应用仍处于早期阶段。

论文的关键思路是通过使用掩码自编码目标（masked autoencoding objective）来预训练一个多模态模型，并探索跨模态重建目标（cross-modal reconstruction objectives）的重要性。此外，论文提出在输入空间中使用模态dropout来提高下游任务的性能。这种方法鼓励模型在预训练过程中整合不同模态的信息，从而生成更有效的表示。

论文在PhysioNet 2018数据集上进行了广泛的实验，展示了模型在多种下游任务中的表现。实验结果表明，使用跨模态重建目标和模态dropout可以显著提高性能。此外，论文还分析了模型的表示，发现注意力权重变得更加跨模态和时间对齐，嵌入也变得更加分布式。论文没有提到是否开源代码，但其方法和实验设计为未来的研究提供了有价值的参考。

最近在这个领域的一些相关研究包括： 1. "Multimodal Deep Learning for Health Informatics" - 探索了多模态深度学习在健康信息学中的应用。 2. "Contrastive Learning for Multimodal Data in Healthcare" - 研究了对比学习在多模态医疗数据中的效果。 3. "Cross-Modal Attention Mechanisms for Multimodal Health Data" - 提出了跨模态注意力机制来处理多模态健康数据。 4. "Self-Supervised Pretraining for Multimodal Biomedical Data" - 讨论了自监督预训练在多模态生物医学数据中的应用。