2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？

非参数方法在过去很长时间里曾远离NLP领域的主流，但在最近一两年内呈现出回归的趋势，并与神经网络相结合。这类方法的典型特征是，检索一些相似的样本，并用相似的样本去做预测。最简单的一个例子是 分类器，检索 个最相似的样本，然后通过投票预测新样本的类别。

非参数方法的回归得益于近年来语义向量表示技术和近似向量检索技术的进步。语义向量表示技术的进步使得通过向量检索的方式可以找到语义相似的样本，基于语义相似的样本去做预测常常能够取得比基于字面意思相似的样本预测更好的结果。近似向量检索技术的进步使得在大规模的数据集上进行向量检索可以做的非常高效。现在有一些很好用的文本语义表示方法，如BERT-whitening^[1]、SimCSE^[2]，以及一些封装良好的近似向量检索工具如Faiss，使得普通人也可以轻易搭建一个语义文本检索系统。

近年来在NLP领域一项比较work的非参数方法是将 分类器引入到神经网络语言模型中—— ^[3]。在语言模型预测下一个词时，检索 相似个词级别样本，然后用 分类器计算出一个基于样本的分布，并把这个基于样本的分布与基于模型的分布进行线性的加权融合，基于融合后的分布去做预测。使用 检索增强的Transformer语言模型超过了Transformer-XL，在语言模型任务上取得了SOTA的结果。

这类方法取得优异的效果有两方面的原因：

1. 作者在论文中提到，学习词的相似性表示是比预测一个词更容易的任务。
2. 分类器基于词的上下文表示去做检索，为语言模型提供了一种预测时利用上下文消岐的能力。而在普通的语言模型中，预测一个词时是将最后一层神经网络的隐层表示与一个固定的embedding矩阵相乘，计算每个词的概率。在这个embedding矩阵中每个词只有一种表示，不包含词所在的上下文，没有利用上下文进行消岐的能力。

使用 检索增强语言模型的方法有两个显著的优势：

1. 模型可以在线更新。更新模型只需要更新检索库，而不需要更新神经网络的参数。这对需要在线更新的应用很有吸引力。
2. 模型的预测结果可解释。检索出的样本可以作为模型为什么预测出一个词的解释。

后续有很多工作对 进行拓展和改进，改进的方向大致分为以下三类。

1. 拿锤子找钉子，将 检索增强语言模型的方法应用到更多任务上，如应用到机器翻译任务上的 ^[4] ，应用到问答任务上的BERT- ^[5]，应用在对话系统中的KIF^[6]。
2. 改进检索的效率。即使近似向量检索技术可以使检索做的很高效，在解码的每一步都做一次检索还是会使得模型推理速度很慢。相关的工作如，NLM^[7]对检索库进行降维和剪枝，Fast ^[8]引入分层的检索提高检索效率。
3. 改进检索到的样本的利用方式。使用固定的权重对基于模型的分布和基于样本的分布进行加权融合显然不是最优的利用检索样本的方式。一种改进是引入神经网络去学习怎样组合语言模型的预测和检索到的样本，如SPALM^[9]和adaptive ^[10]。

参考

1. ^Whitening Sentence Representations for Better Semantics and Faster Retrieval. https://arxiv.org/abs/2103.15316
2. ^SimCSE: Simple Contrastive Learning of Sentence Embeddings. https://arxiv.org/abs/2104.08821
3. ^Generalization through Memorization: Nearest Neighbor Language Models. ICLR 2020. https://openreview.net/forum?id=HklBjCEKvH
4. ^Nearest Neighbor Machine Translation. ICLR 2021. https://openreview.net/forum?id=7wCBOfJ8hJM
5. ^BERT-kNN: Adding a kNN Search Component to Pretrained Language Models for Better QA. https://arxiv.org/abs/2005.00766
6. ^Augmenting Transformers with KNN-Based Composite Memory for Dialog. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00356/97779/Augmenting-Transformers-with-KNN-Based-Composite
7. ^Efficient Nearest Neighbor Language Models. https://arxiv.org/pdf/2109.04212.pdf
8. ^Fast Nearest Neighbor Machine Translation. https://arxiv.org/abs/2105.14528
9. ^Adaptive Semiparametric Language Models. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00371/100688/Adaptive-Semiparametric-Language-Models
10. ^Adaptive Nearest Neighbor Machine Translation. ACL 2021. https://arxiv.org/abs/2105.13022