标题:Mila-魁北克AI、麦吉尔大学、DeepMind|End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering(基于端到端训练的开放域问答多文档阅读器和检索器)
简介:我们提出了一种用于检索增强的端到端可微训练方法开放域问答系统,结合来自多个领域的信息生成答案时检索文档。我们将检索决策建模为相关文档集上的潜在变量。由于边缘化集合检索到的文档在计算上很困难,我们使用期望最大化算法。我们迭代地估计我们的潜在价值变量,然后使用它估计更新检索器和读取器参数。我们假设这样的端到端训练允许训练信号流向阅读器,然后流向阅读器检索器比分阶段训练更好。这导致检索器能够为问题选择更多相关文档,并为受过培训的读者选择更准确的文档以生成答案。三个基准的实验数据集表明我们提出的方法优于所有现有方法2-3%绝对精确值。我们的结果还证明了学习检索的可行性,在没有明确监督检索决策的情况下改进答案生成。
代码下载: https://github.com/DevSinghSachan/emdr2
论文下载:https://arxiv.org/pdf/2106.05346.pdf

内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢