标题：MIT、Meta AI｜Quantifying Adaptability in Pre-trained Language Models with 500 Tasks（量化具有500个任务的预训练语言模型的适应性）

作者：Belinda Z. Li, Jacob Andreas等

简介：本文研究了预训练语言模型的迁移性能。当语言模型适应执行新任务，任务的哪些方面可以预测模型的最终性能？在NLP中，LM泛化到单个例子的系统特征，得到了很好的表征，但LM对新的系统适应性方面任务，几乎没有那么好理解。作者对LM适应性的特征和限制进行大规模实证研究新的基准测试，TASKBENCH500，由500个程序生成的序列建模任务。这些任务结合了以下语言处理核心方面，包括词汇语义、序列处理、记忆、逻辑推理和世界知识。使用TASKBENCH500，作者评估了以下三个方面适应性，发现：(1)适应程序的记住小数据集能力差异很大； (2)在一个任务类型子集内，适应程序表现出对复杂任务的组合适应性；和(3)未能匹配训练标签分布，由预测单个标签的内在困难中的不匹配来解释。作者的实验表明，对新任务的适应性，像对新例子的泛化，可以被系统地描述和理解。

代码下载：https://github.com/belindal/TaskBench500

论文链接：https://arxiv.org/pdf/2112.03204v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除