Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data

本文介绍了联邦学习（FL）作为一种在边缘网络设备上进行隐私保护分布式模型训练的框架。然而，由于对抗样本（AEs）的易受攻击性和数据在设备之间的非独立同分布（non-IID）特性，这给在边缘部署具有对抗鲁棒性和准确性的学习模型带来了挑战。虽然对抗训练（AT）通常被认为是中心化训练中对抗攻击的有效防御策略，但我们揭示了在FL中直接应用AT可能会严重损害准确性，特别是在非IID情况下。鉴于这种限制，本文提出了FatCC，它从对数和特征两个方面将本来的联邦对抗训练（FAT）过程中的本地对数校准和全局特征对比合并到一起。这种方法可以有效地提高联邦系统的鲁棒准确性（RA）和干净准确性（CA）。首先，我们提出了对数校准，即在本地对抗更新期间校准对数，从而提高了对抗鲁棒性。其次，FatCC引入了特征对比，涉及一个全局对齐项，将每个本地表示与无偏全局特征对齐，从而进一步增强了联邦对抗环境中的鲁棒性和准确性。在多个数据集上进行的大量实验表明，FatCC在CA和RA方面的性能提升与其他基线相当或更优。

该论文旨在解决联邦学习中的对抗攻击和非独立同分布数据分布所带来的问题，提高联邦系统的鲁棒性和准确性。

该论文提出了一种名为FatCC的方法，该方法从logit和特征两个方面将本地logit校准和全局特征对齐引入到联邦对抗训练中，以提高模型的鲁棒性和准确性。

该论文在多个数据集上进行了实验，证明FatCC方法在CA和RA方面均比其他基线方法表现更好。论文提出的方法有望在联邦学习中提高对抗攻击下的模型鲁棒性和准确性。

最近的相关研究包括：Federated Learning with Matched Averaging，Federated Learning with Non-IID Data，Federated Adversarial Domain Adaptation等。