Google mBERT模型创建文本背后的奥秘探索

具有语言能力的深度学习系统已经广泛应用于人们的生活当中。其中一些系统使用了 Google 发布的特定深度学习模型 —— 多语言 BERT（Multilingual BERT，简称 mBERT）。mBERT 模型可以同时接受大约 100 种语言的训练，这种多语言的训练使模型可以完成各种语言任务，例如，将文本内容从一种语言翻译成另一种语言。虽然已经发现 mBERT 模型在许多语言任务中表现良好，但是人们对 mBERT 模型 “如何创建文本并如何做出预测” 的相关信息并不清楚。

为此，来自斯坦福大学、加州大学欧文分校和加州大学圣巴巴拉分校的研究人员联合开展了一项新的研究，研究目的是为了更好地理解基于 mBERT 模型的技术是如何运行的，以及它是如何创建语法特征的。相关研究结果已发表在论文预印本网站 arXiv 上。该论文为这些常用模型的基础以及它们在完成各种任务时如何分析语言提供了宝贵的线索。