Multimodal Deep Learning for Low-Resource Settings: A Vector Embedding Alignment Approach for Healthcare Applications

大规模多模态深度学习模型已经彻底改变了诸如医疗保健等领域，突显了计算能力的重要性。然而，在资源受限的地区，如低收入和中等收入国家（LMICs），有限的GPU和数据访问面临着重大挑战，通常只能依靠CPU。为了解决这个问题，我们提倡利用向量嵌入来实现灵活和高效的计算方法，从而使多模态深度学习在不同环境下实现民主化。 我们的论文研究了在低资源环境，特别是在医疗保健领域中，使用来自单模态基础模型和多模态视觉语言模型（VLMs）的向量嵌入进行多模态深度学习的效率和有效性。此外，我们提出了一种简单而有效的推理方法，通过对齐图像文本嵌入来提高性能。通过比较这些方法与传统方法，我们评估了它们在三种医疗模态（BRSET（眼科），HAM10000（皮肤科）和卫星基准（公共卫生））中的计算效率和模型性能的影响，使用准确性、F1分数、推理时间、训练时间和内存使用等指标。 我们的研究结果表明，嵌入可以降低计算需求，而不影响模型性能。此外，我们的对齐方法可以提高医学任务的性能。这项研究通过优化受限环境中的资源来促进可持续的AI实践，突出了基于嵌入的方法在高效多模态学习方面的潜力。向量嵌入使得LMICs中的多模态深度学习民主化，特别是在医疗保健领域，增强了AI在各种用例中的适应性。

本论文旨在解决在资源受限的地区如低收入和中等收入国家（LMICs）中，GPU和数据受限的问题，提出使用向量嵌入来实现多模态深度学习的灵活和高效计算方法，特别是在医疗保健领域。论文试图验证这种方法的有效性和效率。

使用单模态基础模型和多模态视觉语言模型（VLM）的向量嵌入来进行多模态深度学习，并提出一种简单而有效的推理时间方法来提高性能，即对齐图像文本嵌入。通过比较这些方法与传统方法，评估它们在三种医学模态（BRSET，HAM10000和SatelliteBench）中的计算效率和模型性能。

论文发现，使用向量嵌入可以减少计算需求，而不会影响模型性能。此外，他们的对齐方法可以提高医学任务的性能。实验使用的数据集包括BRSET（眼科学）、HAM10000（皮肤科学）和SatelliteBench（公共卫生学），论文还提供了开源代码。这项研究提倡可持续的AI实践，通过优化受限环境中的资源，突出了基于嵌入的方法在高效多模态学习中的潜力。

最近在这个领域中，还有一些相关的研究，如“Multi-modal Learning for Medical Image and Report Interpretation via Knowledge Distillation”和“Multi-modal Deep Learning for Diagnosis of Alzheimer's Disease Using PET and MRI”。