Re3val: Reinforced and Reranked Generative Retrieval

这篇文章介绍了一种名为Re3val的模型，它通过使用有限数据进行生成重排序和强化学习来训练。Re3val利用Dense Passage Retrieval获取上下文信息来重新排列检索到的页面标题，并利用REINFORCE算法来最大化受限解码生成的奖励。此外，该模型从预训练数据集中生成问题，以减轻认知不确定性并弥合预训练和微调数据集之间的领域差距。随后，使用重新排序的页面标题从KILT数据库中提取和重新排列上下文。在确定了前五个重新排序的上下文之后，Re3val在五个KILT数据集中展示了最高的Top 1 KILT分数，相比于其他所有生成检索模型。该模型的限制在于生成检索没有考虑上下文信息，并且无法针对下游读者进行调整，因为解码页面标题是一个不可微分的操作。

解决问题：论文试图通过引入上下文信息和利用强化学习技术来提高生成检索模型的性能，以解决当前生成检索模型无法考虑上下文信息、无法针对下游任务进行调整等问题。

关键思路：论文提出了一种名为Re3val的生成重排模型，该模型利用密集通道检索获取上下文信息，使用生成重排和强化学习技术来重排生成的检索结果，同时使用预训练数据生成问题以减少认知不确定性，并利用重排的检索结果从KILT数据库中提取和重排上下文信息。

其他亮点：论文通过实验验证了Re3val模型相比其他生成检索模型在五个KILT数据集上具有更好的性能，同时提供了开源代码。此外，论文使用预训练数据生成问题以减少认知不确定性，这是一个值得关注的创新点。

相关研究：最近在这个领域中，一些相关的研究包括《Dense Passage Retrieval for Open-Domain Question Answering》、《End-to-End Open-Domain Question Answering with BERTserini》等。