Revisiting a Pain in the Neck: Semantic Phrase Processing Benchmark for Language Models

我们介绍了LexBench，这是一个全面的评估套件，能够在十个语义短语处理任务上测试语言模型（LMs）。与先前的研究不同的是，这是第一个从比较的角度提出框架来模拟一般语义短语（即词汇搭配）和三个细粒度的语义短语，包括习语表达，名词复合和动词构造。感谢我们的基准测试，我们评估了15个LMs在分类，提取和解释任务中的模型架构和参数规模。通过实验，我们首先验证了缩放定律，并发现，预期的是，大型模型在大多数任务中表现更好。其次，我们通过缩放语义关系分类进一步研究，并发现少量样本的LMs在该任务中仍落后于香草微调模型。第三，通过人类评估，我们发现强大模型的性能在语义短语处理方面与人类水平相当。我们的基准测试结果可以为未来旨在提高LMs在语义短语理解方面的通用能力的研究提供服务。我们的源代码和数据可在https://github.com/jacklanda/LexBench上获得。

LexBench论文试图解决语言模型在语义短语处理任务中的表现问题，以及验证模型规模和参数对性能的影响。这是一个新问题。

论文提出了一个评估套件LexBench，包括10个语义短语处理任务，分别测试通用语义短语和三种细粒度语义短语。通过比较15个不同架构和参数规模的语言模型在分类、提取和解释任务上的表现，论文验证了模型规模对性能的影响，研究了少样本学习和人类表现的关系，并发现强模型在语义短语处理任务上的表现与人类水平相当。

论文的实验设计全面，使用了多个数据集，开源了代码和数据。研究结果为未来改进语言模型在语义短语理解方面的通用能力提供了参考。

近期相关研究包括：1.《BERT Rediscovers the Classical NLP Pipeline》；2.《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》；3.《Unsupervised Cross-lingual Representation Learning at Scale》等。