为什么模型会将「猫」识别成「牛油果酱」，将「猪」识别成「飞机」？

要回答这个问题，就涉及到对抗性样本（Adversarial examples）。对抗性样本指在原始样本添加一些人眼无法察觉的扰动（这样的扰动不会影响人类的识别，但却很容易愚弄模型），致使机器做出错误的判断。

这一对安全影响重要的特征，到目前为止仍无很明确的解释。

进入深度学习时代，年逾花甲的图灵奖得主 Adi Shamir 带领团队踏上了对抗性样本的研究之旅。

在2022北京智源大会首日的特邀报告环节，Adi Shamir发表了题为「A New Theory of Adversarial Examples in Machine Learning」的主旨演讲，讲解了他最新发表的工作。在本次演讲中，Adi Shamir 教授提出了一种「凹槽流形」（dimpled manifold）解释了机器学习中对抗性样本的性质及其存在的原因，为我们理解深度神经网络的工作原理提供了全新的思路，对该领域具有开创性的意义。（注：本文由智源社区整理，未经本人审阅）

  

内容中包含的图片若涉及版权问题，请及时与我们联系删除