标题：清华、智源、MIT、CMU、DeepMind｜FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding（FewNLU：用于少样本自然语言理解的最先进方法基准测试）

作者：Yanan Zheng, Jie Tang, Sebastian Ruder, Zhilin Yang等

简介：本文提出一种少样本公平衡量方法。少样本的自然语言理解任务最近引起了很多关注。然而，先前的方法在不同的协议下评估，阻碍了公平比较和衡量领域进展。为了解决这个问题，作者引入了一个评估框架来改进之前在三个关键方面的评估程序，即测试性能、开发测试相关性和稳定性。在这个新的评估框架下，作者重新评估了NLU任务的几种最先进的小样本方法。作者的框架揭示了新的见解：(1)绝对表现和相对差距这些方法没有准确估计先前的文献； (2)没有单一的方法能以一致的性能主导大多数任务；(3)一些方法的改进减弱使用更大的预训练模型；(4)来自不同方法的收益通常是互补的，最好的组合模型执行接近强大的全监督基线。作者开源工具包FewNLU，它实现了评估框架以及一些最先进的方法。

代码下载：https://github.com/THUDM/FewNLU

论文下载：https://arxiv.org/pdf/2109.12742.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除