Vertical Federated Learning Hybrid Local Pre-training

垂直联邦学习（VFL）具有广泛的实际应用，受到学术界和工业界的广泛关注。企业希望利用来自不同部门的同一用户的更有价值的特征来提高其模型预测能力。VFL解决了这一需求，并同时保护个体方不暴露其原始数据。然而，传统的VFL遇到了瓶颈，因为它只利用对齐的样本，随着参与方的增加，其大小会缩小，导致数据稀缺和未对齐数据的浪费。为了解决这个问题，我们提出了一种新颖的VFL混合本地预训练（VFLHLP）方法。VFLHLP首先在参与方的本地数据上预训练本地网络。然后在对齐的数据上进行下游联邦学习时，利用这些预训练的网络来调整标记方的子模型或增强其他方的表示学习，从而提高联邦模型的性能。在真实的广告数据集上的实验结果表明，我们的方法相对于基线方法具有很大的优势。消融研究进一步说明了VFLHLP中每个技术对其整体性能的贡献。

论文提出了一个新的方法VFLHLP，旨在解决传统VFL中数据匹配问题所带来的数据稀缺和浪费问题，同时提高联邦模型的性能。

VFLHLP首先对参与方的本地数据进行预训练，然后在对齐的数据的联邦学习期间，利用这些预训练的网络来调整标记方的子模型或增强其他方的表示学习，从而提高联邦模型的性能。

论文在真实的广告数据集上进行了实验，证明了VFLHLP方法相对于基线方法的显著性能提升。论文还进行了消融实验，说明了VFLHLP中每种技术对其整体性能的贡献。

近期在这个领域中，还有一些相关的研究，如《Federated Learning with Heterogeneous Data via Attribute-Driven Neural Architecture Search》和《Federated Learning with Non-IID Data: An Overview》。