Enhancing Pre-Trained Generative Language Models with Question Attended Span Extraction on Machine Reading Comprehension

机器阅读理解(MRC)是自然语言处理(NLP)领域中的一个重大挑战。虽然主流的MRC方法主要利用基于编码器的抽取策略，如BERT，但生成方法面临着生成失控的问题——这是一个关键问题，其中生成的答案经常不正确、不相关或不忠实于源文本。为了解决生成模型在MRC中的这些限制，我们引入了Question-Attended Span Extraction (QASE)模块。在预训练的生成语言模型(PLMs)的微调阶段集成QASE，显著增强了它们的性能，使它们能够超越像GPT-4这样的先进大型语言模型(LLMs)的抽取能力。值得注意的是，这些性能提升并没有增加计算需求。QASE模块的有效性已经在各种数据集上进行了严格测试，始终实现或甚至超越了最先进的结果(SOTA)。

论文旨在解决生成式模型在机器阅读理解中存在的生成不可控问题，提出了一种新的模块QASE来增强生成式语言模型的表现。

QASE模块结合了生成式和抽取式方法的优点，通过问题关注机制选择最佳答案片段，解决了生成不可控问题。

论文在多个数据集上对QASE模块进行了实验，结果表明QASE模块在不增加计算成本的情况下，显著提高了生成式模型的性能，超过了GPT-4等大型语言模型的抽取能力。论文还开源了代码。

在机器阅读理解领域，目前主流方法是抽取式方法，如BERT等模型。近期有一些研究尝试将生成式方法引入到该领域，如GPT-3。