数据不动模型动：SDH 联邦学习产品化实践

上一篇《让联合分析更高效：SecureID 变“密文求交”为“明文对齐”》介绍了如何通过可复用的 SID 映射，让跨域数据更快对上号。数据对齐之后，业务还希望进一步回答：哪些用户更可能转化，下一轮投放应该重点触达谁？

要做好这类预测，单靠一方的数据往往不够。平台掌握用户是否转化的标签，业务方拥有能够补充判断的用户特征。双方数据结合起来，有望提升预测效果，但标签和特征分散在不同参与方，不能直接汇集到一起训练。如何让数据留在各方本地，又能共同训练一个预测模型，是联合建模需要解决的核心问题。

为此，SDH PaaS 3.0 将联邦学习融入数据合作流程：平台方提供转化标签（以及平台特征），业务方提供互补特征，在原始数据不出域的条件下协同训练模型，预测用户的转化可能性。围绕实际使用，平台将协同训练以及模型和预测结果的交付串联起来，让双方能够按统一流程开展联合建模。本文将以转化预测为例，介绍这一过程如何在 SDH 上落地，让数据合作从“看清已有表现”进一步走向“预测未来机会”。

一、从联合分析走到联合建模

当数据合作从效果复盘走向转化预测，双方需要协作的内容也随之变化。理解联合建模，可以先从一个具体业务问题出发：预测用户是否会购买，需要哪些信息，这些信息分别掌握在谁手里，又为什么需要双方共同参与？

以预测用户是否会购买商品为例，平台一侧持有用户是否购买的标签，也可以提供一部分本地特征；业务方一侧提供互补特征。双方分别掌握预测目标和相关信息。如果只依靠单方数据建模，就可能遗漏有价值的信号。

分析套件可以用来查看已有的业务结果，例如一次活动触达了多少用户，其中有多少人购买了商品。若希望进一步预测哪些用户更可能购买，就可以结合平台方的购买标签和业务方的互补特征，通过纵向联邦学习训练预测模型。

这种联合建模有一个基本条件：双方的数据中要有一部分相同的用户，才能把平台的购买标签与业务方的相关特征对应起来。双方先确认哪些记录属于同一位用户，再利用各自的数据协同训练模型，原始数据仍保留在各自的环境中。

二、双方如何用各自的数据共同训练模型

明确了业务目标和双方的数据之后，接下来要看这些数据如何在不汇集到一起的情况下参与训练。下面以平台方和业务方的协作为例，从角色分工、共同用户的确定，到训练过程中的计算与交互，展开介绍一次联合训练如何完成。

确定双方分工，并找出共同用户

在联邦学习框架 EFLS 中，双方按训练时的分工配置角色。本例中，平台方是 Leader，提供“用户是否购买”的标签，也可以提供本地特征；业务方是 Follower，提供互补特征。

样本对齐，就是找出双方数据里对应同一位用户的记录。双方按任务配置和合作授权确定共同样本，保证后续计算针对同一批用户。完成对齐后，双方仍分别使用各自保存的数据。

各自计算，并交换训练所需的中间结果

训练时，双方先在本地根据各自的特征完成计算，再按协议交换所需的中间结果。平台方把这些结果与购买标签结合，计算预测结果与实际结果的差距，再将用于调整模型的信息（梯度）按协议回传。双方据此更新各自的模型参数，重复计算，直到训练结束。

双方在训练过程中仍需通信。传递的是训练协议要求的中间结果和消息，原始特征和购买标签留在各自的环境中。具体交换哪些内容，由所用算法和任务配置决定。

EFLS 支持对前向计算得到的中间结果加密，也支持差分隐私，即通过加入受控噪声降低单个样本信息泄露的风险。具体启用哪些措施、如何设置参数，需要根据任务和协议要求确定。训练完成后，还要通过授权和审批，明确谁能使用模型、哪些数据能用于预测，以及预测结果交给谁。

三、在 SDH 上如何发起和运行联邦任务

把联合建模用于实际业务，除了训练算法，还需要明确数据怎么授权、任务由谁审批、结果交给谁。SDH 将数据准备、任务配置、多方审批、协同执行和结果交付串成一套流程，让参与方能够在约定的权限范围内发起任务、跟踪进度并使用结果。

先确认参与方和可用数据

开始建模前，双方先在 SDH 的合作空间中确认谁参与、要解决什么业务问题、准备使用哪些数据。将 ODPS、OSS 等来源的数据注册为数据资产后，再确认本次任务可以使用的字段。

授权要具体到字段。业务方提供的特征中，哪些能用于训练、哪些能用于预测，都需要提前确认。建模人员再从已获授权的字段中选择任务输入。

配置任务、完成审批并使用结果

创建训练任务时，建模人员选择模板，并配置参与方、输入数据、Leader/Follower 角色及训练参数。需要预测时，再创建预测任务，指定使用的模型、输入数据和结果保存位置。预测所用数据和结果接收方也要获得相应授权。

任务提交后，由各方按合作约定审批，SDH 同时执行预算等运行限制。审批通过后，SDH 将任务调度到双方的执行环境。平台方和业务方分别准备数据，并按同一协议开始计算。运行期间，可以查看任务状态，了解任务处于准备、运行还是失败阶段。

任务完成后，模型、评估信息等结果按合作约定完成审批，再交付给获准使用的参与方。运行日志记录任务执行的相关信息。遇到失败或需要排查问题时，可以结合任务状态和日志查找原因。

四、让大规模联合训练稳定运行

当样本达到千万级、特征达到数百维，联合训练的挑战也延伸到了数据准备和运行协同。围绕内存与磁盘占用、双方准备进度、任务失败重跑和样本一致性，SDH 对执行链路进行优化，减少资源限制和重复处理带来的影响，让大规模任务更稳定地运行。

内存不够：分批排序，再合并读取

千万级样本加上数百个特征，单侧数据就可能达到数十 GB，一次性读取可能超出单机内存。SDH 先把数据分批排序，写入临时文件，再按顺序合并读取这些文件。这种借助临时文件完成排序的方法叫“外部排序”，同时合并多个有序文件的过程叫“多路归并”。这样，数据准备就不必依赖能装下全部数据的大内存。

准备速度不同：区分等待与通信超时

双方的数据量和处理速度不同，一方准备好了，另一方可能还在处理数据。因此，任务需要把“等待对方准备”与“双方开始通信”分开。训练前的握手，是双方交换消息、确认可以开始的过程。如果过早开始计算握手超时，就可能把正常的数据准备误判为通信故障。区分这两个阶段，才能正确判断任务为什么在等待。

磁盘空间：及时清理临时文件和缓存

数据准备、远端文件读取和失败重试都会占用本地磁盘。如果临时文件和缓存不断累积，任务就可能因空间不足而中断。因此，需要按数据规模预留空间，在读取结束后及时关闭文件，并清理不再使用的缓存和临时文件。重跑时还要使用的数据，则应保存到容器销毁后仍能保留的位置。

任务重跑：复用完整数据，减少重复处理

大规模数据通常会拆成多个文件分批处理，这些文件称为“分片”。任务中断后，不必从头处理所有数据：可以根据记录的生成状态，逐一检查分片是否对应本次任务的输入、内容是否完整。已经完成且校验通过的分片可以直接复用，缺失或不完整的部分再重新处理，减少重跑所需的时间。

样本对应：确保标签和特征属于同一位用户

联合训练时，平台方的购买标签必须与业务方同一位用户的特征一一对应。双方需要按约定的规则分片、排序和读取数据，确保每批输入中的样本顺序一致，避免标签与特征错配。SDH 在测试中同时运行 Leader 和 Follower，检查双方能否正确协作。

五、用预测结果辅助业务决策

联合建模的价值，最终要体现在业务行动和实际效果上。预测分数可以帮助业务人员识别人群差异，辅助选择投放对象和制定营销计划；通过离线评估与实际投放效果对比，再判断模型是否带来了收益，为后续优化提供依据。

模型训练完成后，可以预测用户购买商品的可能性。预测结果按合作约定交付后，业务人员可以参考预测分数对用户分组，例如将购买可能性较高的用户归为一组，辅助选择投放人群和制定营销计划。

模型是否有帮助，要结合实际结果来判断。可以先用未参与训练、但已知购买结果的数据，检查模型预测得是否准确；将预测结果用于投放后，再观察购买人数、转化率等指标，并与原有做法比较，评估模型在实际业务中的效果。

SDH 已通过 ISO/IEC 27001 与 ISO/IEC 27701 双认证，以及中国信通院“可信隐私计算”联邦学习基础能力专项评测。

🏷️ 关于我们

阿里妈妈 SDS（Strategic Data Solutions）团队为阿里妈妈广告客户提供营销洞察、策略、价值量化、效果归因及隐私计算等技术服务，帮助商家和平台用数据制定增长策略。

我们将继续完善营销场景中的隐私保护和数据合作方案。欢迎行业伙伴交流合作，并关注“SDH PaaS 3.0”系列后续文章。

📮 联系邮箱：alimama_tech@service.alibaba.com

🔗 专题查阅：隐私计算专题