FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging

虽然联邦学习（FL）在医学影像诊断方面取得了一些进展，但解决客户端数据异质性仍然是实际实施的一个重大挑战。FL中的一个主要障碍是客户端数据样本的非IID性质，这通常会导致聚合全局模型的性能下降。在本研究中，我们介绍了FedMRL，这是一个新颖的联邦多智能体深度强化学习框架，旨在解决数据异质性问题。FedMRL采用一种新颖的损失函数来促进客户公平性，防止最终全局模型中的偏差。此外，它采用多智能体强化学习（MARL）方法来计算个性化本地目标函数的近端项$(\mu)$，确保收敛到全局最优解。此外，FedMRL在服务器端使用自组织映射（SOM）的自适应权重调整方法来抵消客户端本地数据分布的分布漂移。我们使用两个公开可用的真实医学数据集评估了我们的方法，结果表明FedMRL显著优于最先进的技术，显示了它在解决联邦学习中的数据异质性方面的功效。代码可以在此处找到{\url{https://github.com/Pranabiitp/FedMRL}}。

解决问题：本论文旨在解决联邦学习中数据异质性问题，提出了一种名为FedMRL的多智能体深度强化学习框架，以解决客户端之间数据分布不同所带来的挑战。

关键思路：FedMRL采用了一种新的损失函数来促进客户之间的公平性，防止最终全局模型中的偏差。此外，它采用了多智能体强化学习方法来计算个性化的本地目标函数的近端项，以确保收敛到全局最优解。FedMRL还在服务器端上使用自组织映射（SOM）的自适应权重调整方法来抵消客户端本地数据分布的分布偏移。

其他亮点：论文使用两个公开可用的真实医学数据集对其方法进行了评估，结果表明FedMRL明显优于现有技术，证明了其在解决联邦学习中数据异质性问题方面的有效性。代码已在GitHub上开源。

相关研究：最近在这个领域中，还有一些相关研究，例如“Federated Learning with Non-IID Data: An Empirical Study”和“Federated Multi-Task Learning for Brain Image Segmentation”。