微软 | 虚拟对抗训练：让预训练模型再次强大

本文介绍一种让预训练模型再次强大的方式——虚拟对抗训练(Virtual Adversarial Training,VAT)。通过本文，希望传递给大家一个idea：在相同的预训练时间下，对BERT采取虚拟对抗训练，则效果会更好。

众所周知，泛化性和鲁棒性都是设计机器学习方法的关键要求。对抗训练在CV领域已经有着广泛的研究和应用，但一些研究表明：对抗训练虽然可以增强鲁棒性，但会损害泛化性[1]。

在NLP中，BERT等大型预训练语言模型在下游任务中有良好的泛化性能；通过对抗训练是否可以进一步增加泛化能力呢？不恰当的对抗训练方式是不是会损害BERT呢？BERT是不是也经受不住“对抗攻击”呢？

带着这些疑问，我们介绍一篇来自微软在ACL20的paper《Adversarial Training for Large Neural Language Models》，这篇论文首次全面对「对抗预训练」进行了全面研究，建立了一种统一的、适配于语言模型的对抗训练框架——ALUM (Adversarial training for large neural LangUage Models)。

具体地，这篇paper的主要精华有： 提出对抗训练框架ALUM，可同时应用到预训练和微调两个阶段。 全面分析了对抗训练在从头预训练、持续预训练、任务微调下的表现。 对抗训练框架ALUM超过了一众预训练模型的指标，同时提升鲁棒性和泛化性。

论文下载地址：https://arxiv.org/pdf/2004.08994 论文开源地址：https://github.com/namisan/mt-dnn

内容中包含的图片若涉及版权问题，请及时与我们联系删除