从结构和训练范式、评估方法、应用等各个方面，对传统语言模型的和预训练语言模型进行了综述。

An Overview on Language Models: Recent Developments and Outlook

Chengwei Wei, Yun-Cheng Wang, Bin Wang, C.-C. Jay Kuo

[University of Southern California & National University of Singapore]

  1. 语言建模是自然语言处理中的一项基本任务，旨在预测文本字符串的概率分布；

  2. 传统语言模型(CLM)以因果关系的方式预测语言序列，而预训练语言模型(PLM)涵盖更广泛的概念，可面向下游应用进行微调；

  3. 本文涵盖了语言单元、标记化方法、语言模型结构和训练范式、评估方法和应用等主题；

  4. 未来的研究方向包括对可解释的、可靠的、特定领域的和轻量的语言模型的需求。

https://arxiv.org/abs/2303.05759 
图片



内容中包含的图片若涉及版权问题，请及时与我们联系删除