Probing the Efficacy of Federated Parameter-Efficient Fine-Tuning of Vision Transformers for Medical Image Classification

随着大型预训练转换模型的出现，对这些模型进行各种下游任务的微调是一个关键问题。训练数据的不足、数据孤立存在和严格的隐私限制加剧了医学成像领域微调问题，因此需要一种算法来实现预训练模型的协作微调。此外，这些模型的巨大大小需要使用参数高效的微调方法来减少联邦学习中的通信负担。在本文中，我们系统地研究了各种联邦参数高效微调策略，以使Vision Transformer（ViT）模型（在大型自然图像数据集上预训练）适用于医学图像分类。除了评估已知的参数高效微调技术外，我们还引入了新的参数高效微调算法的联邦变体，如视觉提示微调（VPT）、视觉提示的低秩分解、随机块注意微调以及低秩适应（LoRA）+ VPT等混合参数高效微调方法。此外，我们进行了彻底的实证分析，以确定联邦设置中最佳的参数高效微调方法，并了解数据分布对联邦参数高效微调的影响，特别是对于域外（OOD）和非独立同分布（non-IID）的数据。这项研究的关键见解是，尽管大多数联邦参数高效微调方法对于域内转移效果良好，但在处理OOD和non-IID情况时存在实质性的准确性与效率权衡，这通常是医学成像领域的情况。具体而言，每降低一个数量级的微调/交换参数可能导致4%的准确率下降。因此，联邦参数高效微调的初始模型选择至关重要。最好使用从域内医学图像数据中学习到的医学基础模型（如果可用），而不是通用的视觉模型。

本文旨在解决医学图像领域中使用大型预训练变换器模型进行下游任务微调的问题，包括数据匮乏、数据孤岛和隐私限制等方面的挑战，同时在联邦学习中使用参数高效微调以减少通信负担。

本文系统地研究了各种联邦参数高效微调策略，包括已知的方法和新的算法，例如视觉提示微调（VPT）、视觉提示的低秩分解、随机块注意力微调和低秩适应（LoRA）+ VPT等混合策略，研究了这些策略在联邦学习中的最佳适用方法，以及数据分布对联邦参数高效微调的影响，特别是对于领域外（OOD）和非IID数据。

本文的实验结果表明，在处理领域内转移时，大多数联邦参数高效微调方法都表现良好，但是在处理OOD和非IID场景时，存在显著的准确性与效率之间的权衡，这通常是医学图像中的情况。具体而言，每个数量级的微调/交换参数的减少可能导致4%的准确率下降，因此初始模型选择对于联邦参数高效微调至关重要。建议使用基于领域内医学图像数据学习的医学基础模型（如果可用），而不是通用视觉模型。

与本文相关的研究包括联邦学习、医学图像分类和预训练模型微调等方面的研究。例如，Federated Learning for Healthcare Analytics and Patient Outcomes、Federated Deep Learning for Multi-Institutional Electronic Health Record Analysis、Federated Transfer Learning for EEG Signal Classification等。