标题：华盛顿大学、艾伦研究院｜Surface Form Competition: Why the Highest Probability Answer Isn’t Always Right（形式竞争：为什么最高概率的答案并不总是正确的）

作者：Ari Holtzman, Peter West, Luke Zettlemoyer等

简介：大型语言模型在零样本设置中显示出有希望的结果。例如，他们可以简单地执行多项选择任务以问题最高的概率回答为条件做出选择。但是，按字符串概率排序可以由于表面形式竞争而存在问题——其中不同的表面形式竞争概率质量，即使它们代表相同的基本概念，例如。 “计算机”和“PC”。由于概率质量是有限的，由于来自其他字符串的竞争（如这是有效的答案，但不是多项选择选项之一），这降低了正确答案的概率。我们提出领域条件点互信息，一种替代评分函数，通过简单地根据与特定零样本任务上下文中的先验可能性成正比的项重新权衡每个选项，直接补偿表面形式的竞争。它在多种选择数据集，在所有 GPT-2 和GPT-3模型上的零样本性能方面取得了一致的收益。

代码下载：https://github.com/peterwestuw/surface-form-competition

论文下载：https://arxiv.org/pdf/2104.08315v3.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除