Task-Agnostic Federated Learning

在医学图像领域，利用来自不同机构的大规模数据集来开发精确的深度学习模型至关重要，但隐私问题经常阻碍数据共享。联邦学习（FL）成为保护隐私并促进协作学习的重要解决方案。然而，在实际应用中，它面临着许多障碍，如任务和数据异构性、标签稀缺、非独立同分布（non-IID）数据、计算变化等。在现实世界中，医疗机构可能不想向FL服务器披露其任务，并且想要加入正在进行的联邦系统的未见过任务的网络机构面临着泛化挑战。本研究通过自监督FL框架来解决任务不可知和未见任务的泛化问题。利用Vision Transformer（ViT）作为一致特征编码器进行自监督预训练，无需初始标签，该框架能够在不同的数据集和任务之间进行有效的表示学习。我们对各种现实世界的非IID医学图像数据集进行了广泛的评估，验证了我们方法的有效性，仅需通常集中式方法所需的5％的训练数据即可保留90％的F1准确度，并展现出优越的适应性来处理未知任务。结果表明，联邦学习架构可以成为多任务基础建模的潜在方法。

本文旨在解决在医学成像领域，如何利用大规模数据集进行深度学习模型的开发，同时保护数据隐私的问题。同时，本文还试图解决任务异构性和数据分布不同的问题，以及如何应对未知任务的泛化问题。

本文提出了一种自监督联邦学习框架，利用Vision Transformer (ViT)作为共识特征编码器进行自监督预训练，无需初始标签，实现了有效的表示学习。该框架可以适应不同的数据集和任务，解决了任务异构性和数据分布不同的问题，并提高了对未知任务的适应性。

本文的实验使用了多个真实世界的非独立同分布的医学图像数据集，验证了本文方法的有效性。与集中式方法相比，本文方法只需要通常所需训练数据的5％即可保留90％的F1准确度，并展示了对未知任务的优异适应性。本文提出的方法是联邦学习在多任务基础建模方面的潜在应用。

在最近的相关研究中，也有一些关于联邦学习在医学成像领域的应用的研究。例如，Federated Transfer Learning for Brain-Computer Interfaces和Federated learning for breast density classification。