联邦学习（FL）技术 | 分布式AI的隐私协奏曲

摘要

联邦学习（Federated Learning，FL）是隐私保护机器学习（Privacy-Preserving Machine Learning，PPML）的核心范式之一，旨在促进数据协同计算与隐私保护的平衡。通过分布式协作机制，允许多方在不直接共享原始数据的前提下，仅交换模型参数或梯度，协同训练一个全局机器学习模型。联邦学习的核心优势在于：打破数据壁垒，促进跨机构数据融合与价值释放，同时通过将原始数据留在本地，并结合差分隐私（DP）的噪声注入策略、同态加密（HE）的密文计算特性以及安全多方计算（MPC）的协议设计，在训练过程中构建多层防护体系，从根本上规避训练数据的隐私泄露风险。面向合规与可信AI，联邦学习正走向可审计、可治理，并以个性化与多形态联邦在不泄露数据的前提下兼顾性能与隐私，重塑数据流通与智能服务。

查阅🔗隐私计算专题

1. 基础介绍

1.1 背景介绍

随着人工智能技术在医疗诊断、金融风控、智能推荐等领域的深度渗透，多源异构数据呈现高度分散态势，模型性能的上限往往取决于能否有效汇聚与利用这些分布式数据。传统集中式机器学习依赖于将多源数据集中至单一服务器进行训练，这种模式曾是早期互联网和云计算环境中的主流方案。然而随着数据规模的指数级增长与分布广度的持续扩展，集中式训练不仅面临数据存储压力攀升、计算资源紧张等技术瓶颈，更受到隐私保护、数据主权及合规要求（如数据出境限制）的多重约束，导致原始数据难以在合法合规前提下实现跨机构汇聚。同时，企业间存在的信任鸿沟与竞争壁垒致使"数据孤岛"现象长期存在，使得模型难以实现跨域协同学习，无法充分释放多源数据带来的泛化能力与稳健性优势。在此背景下，联邦学习技术应运而生，致力于解决跨机构、跨设备的数据协同建模的难题。

1.2 什么是联邦学习

联邦学习（Federated Learning, FL）是一种创新的分布式机器学习框架，其核心理念是确保各参与方本地数据不出域的前提下，通过本地模型训练与参数更新，结合中心化或多方协同的聚合机制，实现全局模型的联合优化。FL技术主要包含三大核心机制：

1）本地训练机制：各参与方在本方数据上独立进行模型训练，原始数据始终保留在本地，无需上传或共享，从源头上保障了数据安全与隐私合规。

2）参数加密传输机制：在模型参数或梯度上传过程中，采用同态加密、差分隐私等隐私保护技术，对传输信息进行加密处理，有效防止敏感数据和信息在通信过程中被窃取或逆向推理。

3）全局聚合机制：由可信的中心服务器或基于安全多方计算协议，对各参与方上传的加密模型更新进行聚合，生成优化后的全局模型，并将结果安全地分发回各参与节点，实现模型的协同迭代与持续进化。

由此可见，联邦学习作为隐私保护机器学习（PPML）的重要技术路径，相较于基于密码学技术或数据扰动技术的PPML方案，其核心优势在于强化算法在异构数据环境下的鲁棒性。该技术通过"以模型换数据"的创新范式—以模型参数的分布式流转替代原始数据的集中传输，实现数据不离开本地下的协同训练模型。在训练过程中仅需交互更新模型梯度，并结合密码学算法与差分隐私等隐私增强技术，有效解决传统集中式建模面临的"数据孤岛"与隐私合规难题。目前，联邦学习已被广泛应用在金融、医疗、广告、物联网等对数据安全高度敏感的领域，成为推动智能化升级的安全、合规且可持续的关键技术支撑。

2. 技术方案

2.1 定义与发展

联邦学习技术允许 $N$ 个用户 $\{\mathcal{F}_1, ..., \mathcal{F}_N\}$ 在不共享各自数据 $\{\mathcal{D}_1, ..., \mathcal{D}_N\}$ 的前提下，通过协作训练一个全局模型 $\mathcal{M}_{FED}$ ，而传统机器学习是将数据集中训练出一个模型 $\mathcal{M}_{SUM}$ ，设 $\mathcal{V}_{FED}$ 和 $\mathcal{V}_{SUM}$ 分别表示 $\mathcal{M}_{FED}$ 和 $\mathcal{M}_{SUM}$ 的模型精度，如果存在一个非负数 $\delta$ 满足

| \mathcal{V}_{FED} - \mathcal{V}_{SUM} | < \delta

则称该联邦学习算法具有 $\delta$ -精度损失。

联邦学习自2016年由Google率先提出以来^[1]，迅速扩展至各行业落地，目前已被广泛探索于手机智能输入法、银行联合风控、广告营销分析、物联网终端联动等多个实际场景。一些具有代表性的工作如下：

2.2 技术分类

近年来，联邦学习作为隐私保护型机器学习的重要方向，已经形成了多种技术路线和完善的分类体系。假设 $\mathcal{D}_i$ 表示每个用户 $i$ 所持有的数据，其特征空间记为 $\mathcal{X}_i$ ，标签空间记为 $\mathcal{Y}_i$ ，样本ID空间记为 $\mathcal{I}_i$ 。特征 $\mathcal{X}$ 、标签 $\mathcal{Y}$ 和样本ID $\mathcal{I}$ 共同构成完整的训练数据集，各数据方的 $\mathcal{X}_i$ 、 $\mathcal{Y}_i$ 、 $\mathcal{I}_i$ 分布一般并不相同，因此根据各参与方数据在特征、标签、样本ID空间中的分布情况，联邦学习可主要分为三类：横向联邦学习、纵向联邦学习、联邦迁移学习^[2]。

【横向联邦学习】

横向联邦学习（Horizontal Federated Learning, HFL），又称为样本划分的联邦学习，适用于各参与方拥有相同特征空间但样本空间不同的场景下开展的协作式机器学习。例如，不同地区的两家银行在业务类型、数据字段等特征上高度相似，但各自服务的用户群体（样本）几乎无重叠。HFL的本质在于各方在样本维度上的联合建模，是目前实际应用中最为常见的一类联邦学习形式。

HFL的核心数理特征为：各参与方的数据特征空间和标签空间相同，但样本空间互不重叠。其形式化定义为：

\mathcal{X}_i = \mathcal{X}_j,\quad \mathcal{Y}_i = \mathcal{Y}_j,\quad \mathcal{I}_i \neq \mathcal{I}_j, \quad \forall \mathcal{D}_i, \mathcal{D}_j,\, i \neq j

【纵向联邦学习】

纵向联邦学习Vertical Federated Learning, VFL），又称为基于特征的联邦学习，适用于两个数据集在样本空间上存在重叠，而特征空间不同的情况。例如，同一城市的银行和超市，其用户群体高度重合（样本相同），但由于业务类型差异，拥有的用户属性（特征）各不相同。VFL的本质在于不同领域间对同一用户的特征联合建模，以便挖掘跨业态的协作价值。

VFL的核心数理特征为：各参与方的样本空间相同，特征空间和标签空间不同。其形式化定义为：

\mathcal{X}_i \neq \mathcal{X}_j,\quad \mathcal{Y}_i \neq \mathcal{Y}_j,\quad \mathcal{I}_i = \mathcal{I}_j, \quad \forall \mathcal{D}_i, \mathcal{D}_j,\, i \neq j

【联邦迁移学习】

联邦迁移学习（Federated Transfer Learning, FTL）适用于各参与方间无论在特征空间还是样本空间上都重叠极小或几乎没有重叠的数据场景。例如，一个中国的银行和一家美国的电商公司，因地理和业务差异，其用户群体与特征集合基本互不重叠。此时，经典的横向或纵向联邦学习无法直接利用各自的数据资源进行联合建模。

FTL通过引入迁移学习技术，使得不同方之间能够基于有限的公共样本集，学习到特征空间间的公共表示，并将该表示迁移应用至各自本地的未标记数据，实现跨域的数据协同建模。这种方法能够在缺乏标签或特征互补的情况下，实现知识迁移和模型泛化。FTL是对现有联邦学习系统的重要扩展，广泛应用于跨行业、跨地域、跨平台等异构协作场景。

FTL的核心数理特征是，各参与方的数据特征空间、样本空间和标签空间几乎完全不同。其形式化定义为：

\mathcal{X}_i \neq \mathcal{X}_j, \quad \mathcal{Y}_i \neq \mathcal{Y}_j, \quad \mathcal{I}_i \neq \mathcal{I}_j, \quad \forall \mathcal{D}_i, \mathcal{D}_j,\, i \neq j

2.3 技术发展

联邦学习的三种典型类型为联邦学习的广泛应用提供了理论基础。但随着联邦学习的落地应用，也暴露了其存在的诸多问题，如模型训练存在的潜在威胁、通信效率慢、用户数据可用性差、设备不稳定以及用户地位不公平等。因此，为了权衡联邦学习中的隐私安全、通信效率、异构性以及公平性等诸多因素，联邦学习技术体系已经形成了完备的技术链路，主要分为异构性、通信效率、隐私保护、激励机制四类。

【通信技术】

该方向聚焦于降低分布式参与方在模型训练过程中的通信开销和提升全局模型聚合效率，主要包括本地多轮训练、模型与梯度压缩、结构化和量化通信、边缘-云分层协同、无中心P2P架构等技术，从而实现大规模设备接入下的高效稳定聚合与低延迟模型同步。例如，2017年McMahan等人提出FedAvg算法，通过本地多轮训练与参数聚合应对非IID分布，提高通信效率，成为横向联邦学习的核心方法。

【隐私保护】

该方向聚焦于保护多方协作过程中用户本地敏感数据不泄漏、抵御各种安全和推理类攻击，主要包括安全多方计算（MPC）、同态加密（HE）、差分隐私（DP）、安全聚合（SecAgg）等隐私增强技术，从而实现在多方互不信任和敌手存在条件下的数据“可用不可见”、模型攻击防护、提升系统安全性。例如，2019年Yang等人^[2]提出联邦学习三大类型框架，并系统引入SMPC与HE机制用于纵向联邦学习和联合建模的隐私保护，同年Truex等人^[3]实现DP在模型参数更新阶段的高效融合。

【异构性技术】

该方向聚焦于解决联邦学习中终端设备、网络条件和本地数据分布的多样性与不均衡，主要包括知识蒸馏、模型压缩、个性化/多任务学习、迁移学习、分层调度、弹性计算等技术，从而实现不同算力、网络与数据分布条件下的高效泛化和个性化模型协作。例如，2018年Zhao等人^[4]提出联邦迁移学习，借助全局共享子集缓解样本和特征无重叠场景下的训练难题；2020年Li等人^[5]提出个性化联邦学习，通过多任务学习和知识蒸馏，成功提升了设备异构和数据异构条件下的模型泛化与协作能力；2022年Liu等人^[6]提出分层联邦学习系统，通过在终端、边缘和云端分层协作，进一步提升了设备异构环境下的系统性能和训练效率。

【激励机制】

该方向聚焦于促进多方长期公平参与和数据算力资源贡献，保障系统良性可持续运行，主要包括贡献度量（如Shapley值）、博弈论、众包、区块链和智能合约等激励设计技术，从而实现公平收益分配、恶意与“搭便车”行为防治，以及合作生态建设。例如，2019年Khan等人基于Stackelberg博弈设计动态资源分配机制，有效优化了联邦学习中的资源与效用公平问题^[7]；2020年Cong等人提出基于Shapley值的贡献评估体系，实现了用户数据价值量化与奖励分配^[8]。

2.4 横向联邦学习实现机制

FedAvg 作为最经典的横向联邦学习框架，其核心思想可概括为：参与者首先在本地设备上利用自有数据训练本地模型，随后将模型参数或梯度信息上传至服务器。服务器对这些参数或梯度信息进行聚合处理，生成全局模型，并将更新后的全局模型反馈给各参与者。其详细过程如下：

系统初始化

约定全局模型结构与初始参数 $w_0$ ，优化器、训练轮次 $T$ 、每轮本地 epoch 数 $E$ 、批大小 $B$
确定是否需要采用安全聚合，差分隐私等技术增强安全性，剪裁阈值 $C$ 、噪声强度等

每轮训练流程（第 $t$ 轮）

客户端采样：协调方从己方训练数据中采样子集 $S_t$
广播模型：向 $S_t$ 广播当前全局参数 $w_t$
本地训练：每个客户端 $i$ 在本地数据 $D_i$ 上迭代 $E$ 个 epoch，得到本地更新 $\Delta_i$ 或本地权重 $w_i$
a. 可选：梯度/更新剪裁 $\|\Delta_i\|\le C$ ，并注入高斯噪声实现客户端级 DP
安全聚合：通过安全聚合协议只让协调方得到“加总值” $\sum_{i\in S_t}\Delta_i$ （看不到单个 $\Delta_i$ ）
模型更新： $w_{t+1}=\mathrm{Update}\!\big(w_t,\sum_{i\in S_t}\Delta_i\big)$ （FedAvg 即按样本量加权平均）
收敛判定：满足精度/损失/轮数条件则停止，否则进入下一轮

推理：全局模型训练完毕，协调方下发最终模型；各客户端本地推理或由服务端托管推理

2.5 纵向联邦学习实现机制

纵向联邦学习一般包括样本对齐和联合训练两个阶段。样本对齐阶段用于对齐各个参与方的样本数据，并确保任何一方的用户数据不会暴露，联合训练阶段则采用对齐后的共有数据来协同训练一个业务模型。模型训练过程中，模型参数信息以加密方式进行传递。

在纵向联邦学习中，多个参与方拥有同一组样本的不同特征，且通常仅一方掌握标签 $y$ 。原始数据不出本地，模型训练通过加密协作完成。根据是否引入可信第三方协作者 $C$ ，可分为两类主流架构：含可信第三方（ $C$ ）架构： $C$ 作为中立协调者，负责密钥管理、解密聚合与结果分发，适用于多方参与或信任关系复杂的场景；无第三方架构：由拥有标签的主动方充当协调角色，适用于两方直接合作且可建立互信的场景。以含可信第三方（ $C$ ）架构为例，纵向联邦学习通常包括以下过程：

系统初始化

第三方协作者生成密钥对 $C$ ：用加法同态加密算法（如Paillier、BFV）生成公钥 $pk$ 和私钥 $sk$ ，并将公钥 $pk$ 广播给其他参与方（如 $A$ 和 $B$ ），私钥 $sk$ 由 $C$ 本地秘密保存
模型结构约定：各参与方协商模型型拆分方式（如底层网络在B，上层网络在A）；初始化模型参数 $w\_0$ ，可由 $C$ 统一分发或由 $A/B$ 本地随机初始化
训练参数设定：确定训练轮数 $T$ 、每轮迭代次数 $E$ 、批大小 $B$ 、梯度剪裁阈值 $C$ 、是否启用差分隐私（DP）等安全增强机制

每轮训练流程（第 $t$ 轮）

1）前向传播：

a. 不持有标签的参与方（假设为 $B$ ）：

在批次数据上计算局部前向输出： $z_B = f_B(x_B; w_B^{(t)})$
使用公钥 $pk$ 对 $z_B$ 进行同态加密，得到 $[z_B]$
将 $[z_B]$ 发送给参与方A

b. 持有标签的参与方（假设为 $A$ ）：

计算自身局部输出： $z_A = f_A(x_A; w_A^{(t)})$
拼接 $z_A$ 与解密后的 $z_B$ （或在密文下操作），继续完成上层网络前向计算
得到预测值 $\hat{y}$ 和损失

2）反向传播与梯度加密：

a. 参与方 $A$ ：

计算损失对 $z_A$ 的梯度 $\frac{\partial \mathcal{L}}{\partial z_A}$ ，用于更新本地参数
计算损失对 $z_B$ 的梯度 $\frac{\partial \mathcal{L}}{\partial z_B}$ ，并用公钥加密为 $[\frac{\partial \mathcal{L}}{\partial z_B}]$
将 $[\frac{\partial \mathcal{L}}{\partial z_B}]$ 发送给参与方B

b. 参与方 $B$ ：

解密获得
$\nabla w_B = \frac{\partial \mathcal{L}}{\partial w_B} = \frac{\partial \mathcal{L}}{\partial z_B} \cdot \frac{\partial z_B}{\partial w_B}$
对 $\nabla w_B$ 添加随机掩码 $r_B$ （用于防止C推断原始梯度），得到掩码梯度 $\nabla w_B + r_B$
使用 $pk$ 加密掩码梯度： $[\nabla w_B + r_B]$
同时计算加密损失值 $[\mathcal{L}]$ （用于全局收敛判断）
将 $[\nabla w_B + r_B]$ 和 $[\mathcal{L}]$ 发送给第三方C

3）第三方 $C$ 使用私钥 $sk$ 解密得到梯度： $\nabla w_B + r_B$ 和损失： $\mathcal{L}$ ；并将 $\nabla w_B + r_B$ 和 $\mathcal{L}$ 分别发送给参与方 $A$ 和参与方 $B$

4）模型更新：参与方 $B$ 收到 $\nabla w_B + r_B$ 后，去除本地生成的掩码 $r_B$ ，恢复真实梯度 $\nabla w_B$ ，并执行梯度下降： $w_B^{(t+1)} = w_B^{(t)} - \eta \nabla w_B$ ；参与方 $A$ 使用 $\frac{\partial \mathcal{L}}{\partial z_A}$ 更新本地参数： $w_A^{(t+1)} = w_A^{(t)} - \eta \nabla w_A$ ，并接收 $\mathcal{L}$ 判断是否收敛

5）收敛判定：若 $t < T$ 且损失未收敛，则进入下一轮；否则训练结束

2.6 SDH 实现案例

阿里妈妈 Secure Data Hub（SDH）的联邦框架沿用了自研的弹性联邦学习（Elastic-Federated-Learning-Solution，EFLS）框架。同时针对两方纵向联邦学习场景，采用基于水平聚合和基于层次聚合的两种联邦学习方法实现纵向联邦中两方特征的高效融合。

EFLS采用差分隐私技术为反向传播中的梯度提供隐私保护，其差分隐私随机梯度下降算法的核心思路是：首先将原有的每一个batch拆分为粒度更小的micro-batch，每一个micro batch会分别计算梯度，然后对每一个micro batch的梯度进行梯度裁剪并引入噪声。理论上micro batch拆分的越小，那么在梯度聚合后噪声之间就越容易“中和”（因为高斯噪声取的是均值为0噪声）梯度越不容易偏离正确方向。

EFLS同时采用了同态加密为前向传播中的原始样本特征等数据提供隐私保护，相当于提供了一个加密的全连接层。通过接收对方发送来的embedding和本方的embedding合并在一起并做矩阵乘法运算，保证双方通信传输过程中的数据都是加密状态，从而保障数据的隐私安全。在两方场景下，其核心思路是：持有输入数据的一方（发送方）生成同态加密的公钥和私钥，并把公钥发送给另一方（接收方）。在整个前向和反向的过程中发送方接收到的数据都是接收方添加过噪声的，这些噪声在训练过程中会被双方以一种不影响隐私保护效果的机制去除，接收方接收到的数据都是同态加密后的，能够完全保证双方的数据安全的同时也会保证模型的精度不受损失。

3. 应用场景

联邦学习在保护数据隐私的同时实现跨机构协同建模，已在多个关键领域实现广泛应用。以下是其在典型行业中的应用场景：

智慧城市交通：多个城市的公共交通系统分别拥有数据结构相似的本地居民出行数据。通过横向联邦学习，各方在不共享原始数据的前提下联合训练城市出行流量预测模型，提升高峰调度与应急响应能力。
智能风控：银行与电商平台拥有同一用户的金融行为与消费特征。通过纵向联邦学习，双方在样本对齐基础上联合训练反欺诈模型，提升风险识别能力，数据不出本地，保障隐私与合规。
广告转化预测：广告平台与品牌广告主分别掌握用户在线行为与线下转化结果。通过纵向联邦学习，联合构建转化预测模型，精准定位高价值用户，实现跨域协同建模，无需共享原始数据。
自动驾驶决策优化：城市常规路况下训练的自动驾驶模型，通过迁移学习适配至极端天气或偏远区域场景，利用少量新数据微调，快速提升复杂环境下的感知与决策能力。

4. 总结

联邦学习的本质，是让模型去适应数据，而不是让数据迁就模型。它打破传统机器学习必须汇聚数据的惯性思维，将训练过程下沉到数据所在的本地节点，通过协调器统一聚合模型更新，实现“形散神不散”的协同学习。整个过程无需数据迁移，仅传递数值化的梯度或参数，从根本上规避了数据滥用与泄露的路径。

技术上，联邦学习依赖加密传输、安全聚合与一致性优化等机制保障协作的公平与隐私，与MPC、DP等技术密不可分。实践中，它回应了数据属主对控制权、合规性与安全性的多重诉求，尤其在数据监管趋严、跨域协作需求上升的背景下，成为平衡效率与隐私的务实选择。

目前，SDH平台已支持深度FL框架，采用简化协议、全C++通信实现的EFLS联邦训练框架，实现更精细的数据状态恢复与模型加载校验机制，保证任务恢复的模型一致性与数据的零损失。支持两方纵向和横向的联邦学习的联合模型训练和预测能力，支持十到百亿级别样本的联合训练，支持主流的LR、XGBoost和深度模型，并完成开源生态建设。未来，SDH会进一步支持更多的联邦学习类型，并结合隐私增强技术如MPC、DP提供更加灵活、多层次、可扩展的隐私计算服务，以满足日益多样化和复杂化的跨域数据协作需求。

联邦学习不是对传统AI的简单修补，而是一种面向分布式世界的新型学习范式—它不追求数据的归属转移，而是构建基于共识与约束的智能协同网络，推动人工智能走向更可持续、更具伦理意识的发展路径。

5. 参考文献

[1] McMahan H B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]// International Conference on Artificial Intelligence, 2017, 20(22): 1273-1282.

[2] Yang Q, Liu Y, Chen T, et al. Federated machine learning: Concept and applications[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2019, 10(2): 1-19.

[3] Truex S, Baracaldo N, Anwar A, et al. A hybrid approach to privacy-preserving federated learning[C]//Proceedings of the 12th ACM workshop on artificial intelligence and security. 2019: 1-11.

[4] Zhao Y, Li M, Lai L, et al. Federated learning with non-iid data[J]. arXiv preprint arXiv:1806.00582, 2018.

[5] Li T, Sahu A K, Talwalkar A, et al. Federated learning: Challenges, methods, and future directions[J]. IEEE signal processing magazine, 2020, 37(3): 50-60.

[6] Liu L, Zhang J, Song S H, et al. Client-edge-cloud hierarchical federated learning[C]//ICC 2020-2020 IEEE international conference on communications (ICC). IEEE, 2020: 1-6.

[7] Khan L U, Pandey S R, Tran N H, et al. Federated learning for edge networks: Resource optimization and incentive mechanism[J]. IEEE Communications Magazine, 2020, 58(10): 88-93.

[8] Cong M, Yu H, Weng X, et al. A game-theoretic framework for incentive mechanism design in federated learning[M]//Federated Learning: Privacy and Incentive. Cham: Springer International Publishing, 2020: 205-222.

END