Vertical Federated Learning Hybrid Local Pre-training

垂直联邦学习（VFL）在学术界和工业界都受到了广泛关注，具有广泛的实际应用。企业希望利用来自不同部门的同一用户的更多有价值的特征，以提高其模型预测能力。VFL解决了这个需求，并同时保护个别参与方不暴露其原始数据。然而，传统的VFL遇到了瓶颈，因为它只利用对齐的样本，随着涉及更多参与方，其大小会缩小，导致数据稀缺和未对齐数据的浪费。为了解决这个问题，我们提出了一种新颖的VFL混合本地预训练（VFLHLP）方法。VFLHLP首先在参与方的本地数据上对本地网络进行预训练。然后，它利用这些预训练的网络来调整标记方的子模型或增强其他方在对齐数据的下游联邦学习期间的表示学习，从而提高联邦模型的性能。

提出一种解决垂直联邦学习中数据稀缺问题的方法，即VFL Hybrid Local Pre-training (VFLHLP)。

通过在参与方的本地数据上预训练本地网络，然后在对齐的数据上利用这些预训练网络来调整子模型或增强其他参与方的表示学习，从而提高联邦模型的性能。

论文提出的VFLHLP方法可以解决传统VFL中数据稀缺和未对齐数据浪费的问题，提高了联邦学习模型的性能。实验结果表明，VFLHLP方法在MNIST和CIFAR-10数据集上的表现优于其他联邦学习方法。论文还开源了代码。

近期的相关研究包括：《Federated Learning with Only Positive Labels》、《Federated Learning with Matched Averaging》等。