字节跳动科技有限公司人工智能实验室总监李航在《中国计算机学会通讯》发表文章回顾自然语言处理模型的过去，并结合目前的最新技术对自然语言处理的未来发展进行了展望。
语言模型(language model)是定义在单词序列上的概率模型，可以用来计算一个单词序列的概率。在自然语言处理中，单词序列可以是一个句子或一段文字。语言模型是基于概率论、统计学、信息论、机器学习对自然语言进行建模的重要方法。语言模型与深度学习相结合产生的神经语言模型(neural language model)具有强大的表示和学习能力，代表着语言模型发展到了一个新的阶段；特别是其中的预训练语言模型(pre-trained language model)已经成为当今自然语言处理的核心技术。本文回顾语言模型的历史，总结语言模型的现状，展望语言模型的未来。