Answer, Assemble, Ace: Understanding How Transformers Answer Multiple Choice Questions

本文研究了多项选择题答题（MCQA）在表现优异的变形器语言模型中的关键能力，这是主流基准测试的重要指标。然而，最近的证据表明，模型的表现可能有相当大的差异，特别是当任务格式稍微多样化时（例如通过打乱答案选择顺序）。在本文中，我们问：成功的模型如何执行格式化的MCQA？我们采用词汇投影和激活修补方法，以定位编码预测正确答案所需的相关信息的关键隐藏状态。我们发现特定答案符号的预测是由单个中间层引起的，尤其是它的多头自我关注机制。我们展示了随后的层增加了在词汇空间中预测的答案符号的概率，并且这种概率增加与具有独特角色的一组稀疏注意头相关联。我们还发现不同模型适应替代符号的方式存在差异。最后，我们展示了一项合成任务可以分离模型错误的来源，以确定模型何时学习了格式化的MCQA，并表明无法在词汇空间中分离答案符号令模型无法执行格式化的MCQA任务。

本论文旨在研究成功的transformer语言模型在格式化多选题（MCQA）中的表现，并探索关键隐藏状态对正确答案预测的影响。此外，论文还试图解决如何检测模型是否能够进行格式化MCQA的问题。

论文使用词汇投影和激活修补方法来定位编码相关信息以预测正确答案的关键隐藏状态。研究发现，预测特定答案符号归因于单个中间层，尤其是其多头自注意机制。此外，论文还发现不同模型在适应替代符号时存在差异。最后，通过合成任务，论文证明了无法在词汇空间中分离答案符号令模型无法执行格式化MCQA任务的属性。

论文的实验设计精细，使用了多个数据集进行验证，并开源了代码。研究发现不同层次的注意力头在增加答案符号在词汇空间中的概率方面发挥了不同的作用。此外，论文还发现了一些模型在适应替代符号时的差异。

最近的相关研究包括“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”和“RoBERTa: A Robustly Optimized BERT Pretraining Approach”。