阿里妈妈营销隐私计算平台 Secure Data Hub(以下简称"SDH")正式完成 PaaS 3.0 升级。

SDH 是阿里妈妈面向广告营销行业推出的隐私计算 PaaS 产品,基于隐私安全环境,支持跨域数据安全协作、多方数据联合计算与联合建模。在保障各方数据隐私与合规的前提下,提供广告投放全流程的跨域安全一致的数据分析与决策能力,推动商家全域生意增长。

SDH PaaS 3.0 围绕主体可识别、资产可约束、任务可确认、运行可追溯、结果可控制,将管理要求落实到完整协作链路中。合作空间是协作基本单元,各方在其中注册数据、约定权限、划定预算;元数据隐私配置精确到字段级,最小化数据暴露范围;分析套件将通用营销场景沉淀为组件化能力,降低任务创编门槛;联邦学习统一纳入平台的创编、调度与审批机制,全程受控。

本篇文章是 SDH PaaS 系列专题的第二篇,将围绕 PaaS 3.0 的核心升级,解析其如何通过合作空间、数据资产管理、元数据隐私配置、分析套件创编、联邦学习引擎、实例执行、运行观测和结果交付,将隐私合规要求落实到数据协作全链路,推动隐私计算从「可自操」迈向「规模化自操」。

一、协作基础—空间与数据资产

协作基础解决的核心问题是:谁能参与、数据从哪来、哪些字段能用什么方式计算。SDH 通过合作空间划定协作边界,各方在空间内注册数据资产、配置字段隐私属性、完成授权,后续所有计算任务都在这一受控环境中进行。

1.1 合作空间

在 SDH 中,所有数据协作都围绕"合作空间"展开。空间是多租户协作的核心边界,每个空间就是一个隔离的协作环境,发起方和合作方各自提供数据资产,在空间内完成联合计算。

空间的创建经过审批流程。发起方提出合作需求后,系统自动创建工单,各方审批人确认后空间正式生效。一个空间可以关联发起方与多个合作方租户,空间内部的数据范围、成员权限、预算额度相互隔离,互不干扰。

空间具有完整的生命周期管理:从确认中、合作中到已完成、已取消,每个阶段都有清晰的状态标识。管理员可以随时查看空间内的数据资产、任务列表和实例运行情况。空间还支持审批豁免配置,对于信任度较高的长期合作方可以简化流程。

1.2 资质认证

外部合作方入驻 SDH 需要通过资质认证。提交组织信息、统一社会信用代码、营业执照等材料后,系统通过 OCR 识别和官方接口核验真实性,再经审批流程确认。认证状态涵盖草稿、待审核、已通过、已拒绝、已过期五种,到期需重新认证。

资质认证解决的是"谁在跟我合作"的问题,只有主体身份明确,后续的授权、审批和结果披露才有意义。

1.3 数据表注册与管理

平台异构数据源统一接入,支持 ODPS、OSS、TT 等多种数据源类型。用户在 SDH 中将相关数据注册为结构化表,可自定义表名、字段、分区等元数据信息,无需关心底层存储差异。

每张表都有完整的生命周期:创建、有效、过期。平台还提供数据市场功能,表的所有者可以选择将表发布到数据市场。数据市场是受控的数据资产流通场所,参与方可自主浏览和申请可用资产,审批通过后即可在空间内使用。这一机制缩短了数据接入时长,同时保证每一步使用都有据可查。

1.4 元数据隐私保护

字段级元数据配置是 SDH 在数据管控上做得最细的一层。每一列数据可独立配置七类隐私属性:分区、可见、哈希后可见、分组后可见、聚合后可见、关联键、分组键。关联键约束跨方 Join,分组键约束聚合分组,其余四类分别限定字段以何种形态进入结果。同一张表中,不同字段可以有不同的隐私保护策略,既保证了分析所需的灵活性,又把敏感信息的暴露风险降到最低。

1.5 资产授权与权限管控

数据表的授权粒度精确到字段级。表的所有者将表授权给指定空间时,需要明确哪些字段对被授权方可见、允许执行什么操作、有效期多长。权限到期自动失效,变更记录全程留痕。

授权机制的本质是将合作关系(谁和谁协作)、资产范围(哪些表的哪些字段)、操作权限(能做什么)三者关联起来。权限不是孤立存在的,而是始终依附于具体的空间和合作关系。平台对权限的申请、变更和回收进行全链路管理,确保数据使用范围限制在业务所需的最小边界内。

二、计算引擎—从任务定义到执行监控

计算引擎覆盖从任务创编到结果交付的完整链路。通过分析套件或自定义 SQL 定义计算逻辑,系统自动完成 SQL 渲染、合法性校验和 DAG 编排,随后提交到 Flink 集群执行多方联合计算。运行过程中平台提供状态追踪、异常重跑和日志持久化能力。

2.1 分析套件

SDH 支持自定义 SQL 和分析套件两种 MPC 任务创编方式。自定义 SQL 适用于自主性和灵活性要求更高的分析场景;分析套件则将通用分析逻辑沉淀为可复用模板,支持表单交互。创编完成后系统会自动完成 SQL 渲染、计算节点拆分、语义检测和合法性校验。系统会检查 SQL 中引用的每一张表在当前空间的权限,未授权表的引用会被拦截,同时校验表中涉及字段的元数据隐私配置,确保 SQL 不超出该字段的隐私约束,从技术层面保证数据使用不超出隐私边界。

SDH 平台的组件中心已支持 10+ 类营销分析场景,提供 20+ 个不同类型的分析套件。合作方可通过表单交互快速上手,显著减少 MPC SQL 表达、合规性推导和密态语义的理解成本,大幅降低任务创编的技术门槛。

2.2 任务 DAG 编排与可视化

当任务绑定了多步骤的分析套件后,任务运行时,系统自动将任务拆解为多个计算实例,按照套件定义的依赖关系串联成 DAG。前端提供 DAG 可视化展示,节点显示运行名称和运行状态,箭头表示依赖关系。整个链路的走向和当前进度一目了然。

2.3 任务重跑与异常恢复

任务执行失败时,SDH 提供轮次重跑机制。每次重跑不删除原有记录,而是递增轮次号并在同一实例下创建新一轮运行,历史运行记录完整保留。

任务实例支持手动重跑,用户在页面上直接操作;异常自动重跑,系统根据预设规则判断是否自动执行,可配置等待时间和最大重跑次数;下游联动重跑,如果当前任务有下游依赖,自动将下游一并重跑,下游以等待状态排队,上游完成后自动解锁。

2.4 联邦学习引擎

SDH 集成了联邦学习建模的能力,基于自研的 EFLS 联邦学习框架,在保证数据隐私安全及合法合规的基础上实现数据不离开各自平台多方特征联合训练和预测。

联邦学习任务分为 Leader 和 Follower 两类角色,Leader 和 Follower 分别持有一部分特征向量,同时 Leader 持有标签数据(label),负责计算损失、回传梯度、主导模型训练。训练全程只透传中间向量和梯度,原始数据不出域。

联邦学习任务同样在合作空间内运行,支持统一的审批、监控和日志体系。关于联邦学习的能力与实践,将在 PaaS 系列后续文章中详细介绍。

2.5 运行监控与日志持久化

每个任务实例都有完整的运行状态追踪:从准备中、排队等待、运行中到成功、失败、取消,状态变化实时可查。实例详情页展示子任务列表、执行 SQL、运行时长和 Flink 作业详情。

Flink 作业结束后,系统自动将三类日志保存到对象存储:作业详情(完整的执行计划和指标)、TaskManager 信息(各步骤的资源占用和状态)、异常信息(运行期间的报错堆栈)。同时在数据库中记录数据源表信息—用到了哪些表、哪些分区、各写了多少条数据,均自动解析存储。作业结束后也能查日志,为事后排查和安全审计提供完整依据。

三、治理闭环—审批、管控与系统集成

治理闭环关注的是:任务从提交到结果交付的每一步是否可控、可查、可追溯。SDH 在计算引擎之上叠加了审批管控、预算约束、多租户权限隔离和全链路审计四层治理能力,确保"能算"不等于"能拿到",数据使用权始终在边界内受控流转。

3.1 任务审批与结果披露

任务创建后默认进入草稿状态,支持临时保存和版本恢复。任务提交审批后,由各方审批人确认通过后方可运行。审批过程中有站内消息和邮件通知,保证审批人及时收到待办。

任务运行完成后,结果的查看和下载同样受到管控。结果审批作为独立控制点,防止"可计算"被等同于"可交付",使输入授权、执行过程和结果使用形成首尾相接的治理闭环。两层审批确保跨组织数据披露的合规性与可追溯性。

3.2 预算与费用管理

SDH 的预算管理精确到租户和用户两个维度。每个租户有独立的预算池,管理员可以为租户下的单个用户设置独立额度。

任务运行时先预扣预算,运行结束后按实际消耗结算。任务失败或被取消时,预扣预算自动回滚。所有预算变动都有日志记录:提交扣费、成功结算、失败回滚、取消回滚,每种类型都有详细的费用明细。管理员可以随时查看预算消耗趋势,掌握资源使用情况。

3.3 多租户与细粒度权限

SDH 采用多租户架构,租户是资源隔离的基本单元。每个租户下多个用户共享该租户的计算资源和数据资产,由租户管理员统一管理所有用户账号和数据表。租户之间完全隔离,各自有独立的加密密钥、计算配置和部署模式。

权限体系基于 RBAC 模型构建,覆盖三个粒度:菜单级权限控制可见页面,按钮级权限控制可操作功能,字段级权限控制可见数据列。配合数据范围权限实现细粒度的访问控制。

3.4 审计与日志

平台提供审计能力:操作日志自动记录每一次 API 请求的请求方、IP、参数和响应结果;登录日志记录每次登录的设备和位置信息。完整运行和操作日志的价值不只是排障,还在于为安全监测、事件响应和审计复核提供事实依据。正如上一篇 ISO 双认证文章中提到的,只有当操作记录、任务状态和结果流转能够关联起来,平台才具备持续验证控制有效性的基础。

四、能力演进—AI 协作、数据场景拓展

在 SDH PaaS 3.0 已经落地的能力基础上,平台后续将沿三个方向持续演进:将核心能力封装为 AI Skill,让业务方用自然语言即可完成全链路操作;接入消息队列等异构数据源,让离线批数据和实时流数据都能在统一的权限体系下参与联合计算;同时将更多经过验证的营销分析场景沉淀为标准分析套件,新客户接入后即可复用,不必从零摸索。

4.1 Skill:AI 驱动的自然语言协作

SDH 在空间、计算和治理已构建完整的协作闭环,将在这一基座上持续拓展 AI 协作能力,将平台核心能力包装为通用化 Skill,接入 AI 工具链。客户可通过自然语言描述需求,系统自动完成参数补齐、权限校验、任务提交和结果交付,不需要懂 MPC SQL,不需要理解 MPC 配置。

过去一次跨域分析从需求确认到结果交付通常需要天级周期:业务方提需求、数据团队理解场景、手动配置任务、等待审批、排查问题、再跑一轮。Skill 的目标是将这个链路压缩到小时级,用户只需描述分析意图,系统自动匹配套件、填充参数、校验权限、提交任务、追踪状态、交付结果。整个过程对用户透明,"降门槛"不以"降管控"为代价。

4.2 异构数据源持续拓展

SDH 当前已支持 ODPS、OSS、TT 等数据源接入,后续将进一步拓展覆盖范围,支持消息队列等实时数据通道接入。目标是让不同形态的数据:离线批量表、流式事件都能在统一的空间和权限体系下参与联合计算,而不需要业务方提前做数据搬运或格式转换。新数据源的接入同步适配现有的字段级隐私保护和 SQL 校验机制,注册即用,管控不降级。

4.3 分析场景持续丰富

SDH 当前的分析套件已覆盖人群洞察、转化归因等核心场景,后续将持续扩展套件库,把高频营销场景纳入标准化模板。同时,针对头部客户在实践中验证过的分析流程,沉淀为行业通用模板,新客户接入后可以直接复用,不必从零摸索参数配置和分析路径,进一步降低平台的使用门槛,提升平台的易用性。

🏷️ 关于我们

阿里妈妈 SDS(Strategic Data Solutions)团队致力于用数据让商家和平台的增长战略更加科学有效。我们为阿里妈妈全线广告客户提供营销洞察、营销策略、价值量化、效果归因及隐私计算等技术服务。

玛氏、德龙、伊利、宝洁等多个品牌方已通过 SDH 平台完成了跨域数据分析协作,在投放效率、转化提升和增量归因等维度取得了显著的正向效果。

我们将持续推进营销场景下隐私增强技术、可信数据协作体系和解决方案的探索与建设。“SDH PaaS 3.0”系列文章将陆续展开分析套件、SecureID 安全对等连接、联邦学习产品化等篇章。欢迎行业伙伴与我们交流合作。


📮 联系邮箱:alimama_tech@service.alibaba.com

🔗 专题查阅:隐私计算专题


END
图片


 也许你还想看


关注「阿里妈妈技术」,了解更多~


内容中包含的图片若涉及版权问题,请及时与我们联系删除