5月25日,由清华大学智能产业研究院(AIR)、中国信息通信研究院云大所及深圳数据交易有限公司共同指导,FATE开源社区等机构联合主办的“联邦学习安全效率与开源生态论坛”于线上顺利召开。清华大学智能产业研究院(AIR)副教授刘洋出席了本次论坛,其与一众行业专家、学者围绕“可信联邦学习的安全、效率及可用性”主题呈现了精彩的圆桌对话。圆桌对话环节由微众银行人工智能首席科学家范力欣主持,中国工商银行大数据人工智能实验室资深经理胡国强、光大科技大数据研究团队负责人王鹏、FATE开源社区TSC board成员、星云Clustar CTO张骏雪等共同出席。
联邦学习是目前隐私增强计算与人工智能相结合的新型技术范式,是解决严监管与数据要素价值释放强需求这一矛盾的关键技术思路。刘洋教授在此次圆桌对话环节就联邦学习的安全及效率的平衡问题发表了看法。
从技术角度来说,隐私计算中的安全分为“过程安全”和“结果安全”。所谓的“过程安全”是在联合计算的过程中,保证传输的内容不被破解和暴露,通常常采取的信息保护技术包括同态加密、MPC等。但即便如此,最终还是需要交换结果信息,比如多方查询等。因此“结果安全”的核心问题就在于如何保证无法从查询结果中繁衍真实数据或提高繁衍的难度,这其中常用的技术手段包括产品隐私和信息的量化压缩等,从信息的角度来控制。但这类技术会造成模型损失,因此就要在模型损失可控以及安全可控的基础上继续提升效率。
为了保证衍生信息的结果安全,通常运用DP(差分隐私)和效率相结合的理论和技术。DP的程度代表信息泄露的容量,将其和MPC技术结合可以衍生出比较前沿和交叉的同态,在提高整体安全等级的效率的同时,维持整体安全等级的稳定。除此之外,通过设计加速收敛的算法,减少整体机器学习的迭代次数,以及整合前沿算法,将其融入联邦迁移学习或者联邦学习的框架,也都是有效提升效率的手段。
传输的成本在隐私计算的过程中较易被忽视。利用量化压缩和知识蒸馏的方法经实践证明能够有效控制传输的成本。量化压缩与算法相结合,既考虑到加密时所用到的空间,也推动着算法在迭代过程当中收敛性能来形成可适应的、有选择性的量化压缩方案,优化整体的性能。知识蒸馏能够同时达到效率上整体的提升,以及实现定制化和抗攻击效果,也可以促进整体性能优化。
最后刘洋教授谈到了激励机制,她指出目前很多激励机制的算法面临的主要挑战是其计算的复杂性。她同研究团队联合提出了贡献感知联邦学习框架,改进了联邦学习模型训练,发表论文:Contribution-Aware Federated Learning for Smart Healthcare,并荣获AAAI-IAAI 2022人工智能创新应用奖。该模型在医渡云渡真实业务场景中得到了验证,为智慧医疗健康的产业应用带来显著提升。
(获奖论文下载地址:https://www.aaai.org/AAAI22Papers/IAAI-00060-LiuZ.pdf)
(相关成果介绍:AIR 成果发布|刘洋:一种安全高效的联邦学习技术)
分享结束后,微众银行首席科学家范力欣与刘洋教授积极互动,就安全和效率两者结合的算法最优解展开了热烈的讨论。刘洋教授最后表示会在未来的研究中进一步探究安全与效率二者平衡的评估方法,共同推动理论公关的前沿发展。
讲者介绍
刘洋,现任清华大学智能产业研究院(AIR)副研究员/副教授,本科毕业于清华大学,博士毕业于美国普林斯顿大学。她的研究方向包括机器学习、联邦学习、隐私计算、多智能体系统、统计力学以及这些技术的产业应用。她的团队致力通过技术研究来全面护航数据安全,并通过搭建平台和激励机制设计充分连接和挖掘数据价值,促进数据合作和多方共赢,把研究成果应用于医疗健康、自动驾驶,智慧制造等领域。她获得30余项国际国内授权专利,百余件专利申请,并在Nature,AAAI,ICLR,USENIX等知名学术期刊发表科研成果,总引用数超过6000次。她是《联邦学习》和《Federated Learning》的主要作者之一,目前担任ACM TIST期刊副主编,曾担任IEEE Intelligent Systems,IEEE BigData等期刊客座编辑。曾多次获AAAI人工智能创新奖等奖项。
评论
沙发等你来抢