Low-Rank Knowledge Decomposition for Medical Foundation Models

大规模预训练的流行促进了医学基础模型的发展。然而，一些研究表明，尽管基础模型表现出强大的通用特征提取能力，但它们在特定任务上的表现仍然不如特定任务的方法。在本文中，我们探索了一种名为“知识分解”的新视角，以提高特定医学任务的性能，将基础模型分解为多个轻量级专家模型，每个模型专门用于特定任务，旨在提高专业化同时减少资源消耗。为了实现上述目标，我们设计了一个名为Low-Rank Knowledge Decomposition (LoRKD)的新框架，它通过低秩专家模块和高效的知识分离卷积明确地分离梯度。广泛的实验结果表明，分解模型在性能和可转移性方面表现良好，甚至超过了原始的基础模型。

本论文旨在通过知识分解的方法来提高基于医学的任务的性能，同时减少资源消耗。目前，基于大规模预训练的模型在医学领域的应用已经很普遍，但是这些模型在特定任务上的表现仍然不如特定的任务方法。

本论文提出了一种新的思路，即“知识分解”，将基础模型分解成多个轻量级专家模型，每个模型专注于特定的任务，以提高专业化水平，并同时减少资源消耗。为了实现这一目标，本论文设计了一个名为Low-Rank Knowledge Decomposition (LoRKD)的新框架，通过低秩专家模块和高效的知识分离卷积来显式地分离梯度。

本论文的实验结果表明，分解模型在性能和可迁移性方面表现良好，甚至超过了原始的基础模型。此外，本论文还使用了多个数据集进行实验，提供了开源代码，并讨论了一些值得进一步研究的工作。

近期在这个领域中，还有一些相关的研究被进行，例如：《Multi-Task Learning for Lung Cancer Diagnosis with Chest CT Images》、《Deep learning for medical image analysis: A review》等。